AX 팀에서 에이전트가 낸 결과를 다시 봐야 하는지는 대개 티가 났다. 작업이 중간에 멈춰 있거나, TODO 주석이 남아 있거나, 테스트를 돌리지 않은 채 "완료"라고 적혀 있었다. 사람은 그 신호를 보고 어디를 다시 열지 정했다. 검증할 곳을 모델이 대신 알려 준 셈이다.
지난주 그 신호가 흐려지기 시작했다. 6월 30일 앤스로픽이 내놓은 Claude Sonnet 5는 초기 사용자 사이에서 "이전 Sonnet이라면 멈췄을 복잡한 작업을 끝까지 해내고" "시키지 않아도 자기 출력을 검사한다"는 평을 받았다. 멈추지 않고 스스로 점검하는 모델은 반가운 소식이다. 그런데 같은 성질이 검증할 곳을 알려 주던 티를 지운다.
문제는 여기서 시작한다. 미완성이 완성처럼 도착하면 검증은 줄어드는 게 아니라 더 어려워진다.
모델이 멈추지 않고, 스스로 검사한다
Sonnet 5는 "가장 에이전트다운 Sonnet"으로 소개됐다. 계획을 세우고 브라우저·터미널 같은 도구를 쓰며, 몇 달 전만 해도 더 크고 비싼 모델이 필요하던 수준으로 자율 실행한다. 성능은 상위 모델 Opus 4.8에 근접하는데 가격은 8월 31일까지 100만 토큰당 입력 2달러·출력 10달러(이후 3·15달러)로 낮다. Free·Pro의 기본 모델도 이걸로 바뀌었다.
값싸고 멈추지 않고 스스로 검사하는 모델은 에이전트를 굴리는 연료로 맞춤이다. 그런데 자기 점검이 좋아질수록 겉으로 드러나던 미완성의 신호—중간에 끊긴 코드, 안 돌린 테스트, 눈에 띄는 공백—는 사라진다. 결과물은 더 자주 "다 된 것처럼" 보인다. 모델이 실제로 맞게 판단했는지와 맞게 보이는지는 다른 문제다.
그럴수록 검증은 사람 손에서 바깥 장치로 옮겨간다
같은 흐름을 도구 쪽에서도 읽을 수 있다. GitHub이 6월 공개한 Copilot 앱은 에이전트 작업의 '관제탑'을 표방한다. 여러 에이전트가 각자 격리된 작업 복사본에서 동시에 돌고, Agent Merge가 CI 통과 여부와 리뷰어 상태를 추적하며, /security-review 같은 재사용 가능한 점검을 워크플로에 끼워 넣는다. 모델이 똑똑해질수록 플랫폼은 검증을 없애는 대신 사람의 눈을 기계적 관문—CI·샌드박스·리뷰 추적—으로 바꿔 달았다.
더 극단적인 형태는 기계가 증명하는 검증이다. Mistral이 최근 공개한 Leanstral 1.5는 Lean 4 형식 증명에 특화된 Apache-2.0 오픈 모델로, 테스트한 57개 저장소에서 이전까지 알려지지 않은 버그 5개를 찾아냈다. 모델의 자기 보고를 믿는 대신 증명이 통과하는지로 옳고 그름을 가른다. 검증의 근거가 모델의 자신감이 아니라 모델 바깥의 규칙에 있다.
완성처럼 보이는 답이 감사 비용을 올린다
세 소식은 방향이 같다. 모델은 끝까지 가고 스스로 점검하며, 플랫폼과 도구는 그 결과를 바깥에서 다시 검사한다. 정작 위험한 건 그 사이에 낀 조직의 습관이다. "모델이 알아서 검사한다"를 "검토를 줄여도 된다"로 읽으면 미완성을 완성으로 승인하는 실수가 늘어난다. 자가 점검은 검증을 없애는 게 아니라, 검증이 필요하다는 신호를 숨긴다.
| 이전 | 지금 |
|---|---|
| 멈춘 작업·빈 칸이 검증할 곳을 알려 줬다 | 결과가 완성처럼 도착해 신호가 사라진다 |
| 사람이 눈으로 최종 확인 | CI·리뷰 추적·형식 증명이 바깥에서 검사한다 |
| "덜 봐도 되겠다"는 유혹은 작았다 | "알아서 검사했겠지"라는 과신이 위험이 된다 |
조녁컴퍼니가 AX 전환 교육에서 강조하는 지점도 여기다. 좋은 모델을 고르는 법이 아니라, 모델의 자기 점검과 무관하게 통과해야 할 바깥의 검증 관문—CI, 리뷰 기준, 재현·증명—을 팀의 프로세스로 세우는 일이다. 사업영역 →