도입 검토 회의에서 가장 자주 인용되는 문장은 벤더 문서의 성능 수치다. 8월 14일 GitHub은 Copilot에 Grok 4.6을 추가하면서 근거를 이렇게 적었다. "내부 테스트에서 터미널 기반 코딩 과제 전반에 걸쳐 강한 결과를 보였다." 수치도, 비교 대상도, 방법론도 없다. 그 문장은 그대로 검토 자료에 옮겨 붙는다.
문제는 벤더가 거짓말을 한다는 게 아니다. 검증 절차가 공개되지 않은 수치는 참인지 거짓인지 판정할 수 없고, 판정할 수 없는 값은 의사결정의 근거가 되지 못한다는 것이다. 이번 달 나온 세 건의 사례가 그 판정이 실제로 어떻게 갈리는지 보여준다.
베이스라인 하나가 절감률을 40포인트 움직였다
코딩 에이전트 스킬 Ponytail은 코드량을 80~94퍼센트 줄인다고 주장했다. Scott Logic CTO Colin Eberhardt는 저장소의 실체가 YAGNI 원칙을 다시 쓴 100줄 남짓의 마크다운이며, "Follow YAGNI principles, and one-liner solutions"라는 일곱 단어 지시가 같은 벤치마크에서 Ponytail보다 나은 결과를 냈다고 지적했다. 비교 대상이 된 기본 에이전트가 장황하게 답하면서 감축률이 부풀려진 것이다.
저자는 반박 대신 벤치마크를 다시 지었다. 실제 FastAPI·React 저장소, 열두 개 기능 과제, Claude Code로 돌린 결과는 평균 약 54퍼센트 감축, 비용 20퍼센트 절감, 실행 시간 27퍼센트 단축이었다. 94퍼센트는 평균이 아니라 과제별 상한이었다. 도구가 바뀐 게 아니라 비교 대상이 바뀌었다.
재현은 이제 캠페인 규모로 돌아간다
7월 15일부터 8월 2일까지 진행된 ICML 2026 Open Reproductions의 결과를 Hugging Face가 8월 13일 공개했다. 참가자들이 Claude Code·Codex·Cursor 등으로 6,816건의 재현 로그북을 올려 채택 논문 6,352편 중 2,226편, 주장 35,908건을 검사했다. Hugging Face Jobs에서 2,962개의 클라우드 작업이 돌았고 274개의 에이전트 트레이스 데이터셋이 공개됐다. 실제 실험으로 확인된 주장은 3,978건이다.
| 판정 | 논문 수 |
|---|---|
| 모든 주장 재현 | 266 |
| 부분 재현, 반증 없음 | 632 |
| 최소 한 주장이 반증·논쟁 | 496 |
| 토이 규모 근거만 확인 | 502 |
| 판정 불가 | 280 |
반증·논쟁 496편 중 242편은 독립된 재현 팀들이 같은 주장에 정반대 판정을 냈다. 판정 불가 280편의 가장 흔한 원인은 데이터셋과 체크포인트 누락이었다. 틀렸다고 말할 수조차 없는 상태다.
캠페인이 남긴 실무 교훈은 따로 있다. 에이전트만 돌린 실행은 국소 루프에 갇히고 스케일에 따라 달라지는 동작을 오독했다. 가장 신뢰할 만한 결과는 사람이 에이전트를 다시 겨누고 전제를 의심한 워크플로에서 나왔다.
검증 비용을 주장하는 쪽이 내기 시작했다
8월 1일 OpenAI는 미공개 모델 Astra의 내부 버전으로 수학·이론컴퓨터과학 미해결 문제 열 건의 결과를 249쪽 원고로 냈다. 함께 공개한 것은 각 결과의 Lean 4 인증서다. 읽는 쪽이 저자를 믿을 필요 없이 컴파일러가 확인한다. 토큰 비용은 약 2,000달러라고 밝혔다.
한계는 분명하다. Lean 인증서는 형식화가 가능한 명제에서만 성립하고, 모델 자체는 모델 카드도 가격도 출시일도 없이 공개되지 않았다. 그래도 방향은 읽힌다. 주장에 재실행 가능한 아티팩트를 붙이면 검증 비용이 독자에게서 저자에게로 넘어간다. 붙이지 않으면 "내부 테스트에서 강했다"에 머문다.
교육과 AX 현장에서 이 변화는 조달 문항 세 줄로 번역된다. 무엇과 비교했는가, 그 비교를 우리 저장소에서 다시 돌릴 수 있는가, 실패한 과제는 몇 건인가. 조녁컴퍼니가 도입 검토를 맡을 때 먼저 요구하는 것도 결론 수치가 아니라 그 수치를 만든 절차다. 사업영역 →