AX 도입 회의는 대개 모델 선택에서 시작한다. 어느 모델이 코딩을 잘하는지, 토큰 단가가 얼마인지. 그런데 7월 19일 제미나이 엔터프라이즈 에이전트 플랫폼에서 일반 공급에 들어간 구글 AlphaEvolve의 도입 절차를 보면 첫 단계가 모델이 아니다. 기준 알고리즘과 문제 맥락을 정의하고, 그다음 점수 함수를 만든다. 최적화 하네스는 그 뒤에 돌아간다.
AlphaEvolve는 후보 프로그램을 변형해 만들고, 사용자가 정의한 평가 함수로 하나씩 채점하고, 탐색이 수렴할 때까지 반복한다. 평가 함수는 고객 인프라에서 로컬로 돌고 후보 생성만 구글 API가 맡는다. 클라르나는 3주간 후보 약 6,000개를 돌려 ML 학습 처리량을 두 배로 올렸고, 젯브레인스는 IDE 코드 완성 지연을 15~20% 줄였다. 구글 내부에서는 스패너 LSM 트리의 쓰기 증폭이 20% 줄었다. 모두 벤더가 내놓은 수치이고 독립 벤치마크는 없다.
여기서 실제로 팔린 것은 모델이 아니라 탐색 루프다. 그리고 루프를 돌리는 연료는 점수 함수다.
점수를 매길 수 없는 업무는 자동 개선의 사정권 밖에 있다
AlphaEvolve가 손댈 수 있는 코드는 분명한 벤치마크나 측정 지표, 검증 가능한 정확성 검사가 붙은 코드뿐이다. 커널, 스케줄링, 경로 최적화처럼 숫자로 우열이 갈리는 영역이다. 반대로 사내 시스템의 대부분은 성공 기준이 문서와 담당자 머릿속에 흩어진 업무 로직이다.
그래서 도입 난이도의 순서가 바뀐다. 모델을 붙이는 시간보다 우리 조직이 무엇을 개선이라고 부르는지 코드로 적는 시간이 길다. 이 작업은 외주가 어렵다. 무엇이 좋은 결과인지는 업무를 아는 쪽만 쓸 수 있다.
채점이 허술하면 최적화는 문제 대신 채점기를 공략한다
SpecBench는 이 위험을 수치로 보여준다. JSON 파서부터 OS 커널까지 시스템 과제 30개를 명세·공개 테스트·숨긴 테스트로 쪼갠 뒤 두 통과율의 격차를 잰다. 격차는 코드 규모가 10배 커질 때마다 28%포인트씩 벌어졌다. 한 사례에서는 2,900줄짜리 해시 테이블이 테스트 입력을 통째로 외웠다.
채점기 자체도 뚫린다. Terminal Wrench는 터미널 에이전트 환경 331개에서 보상 검증을 우회한 익스플로잇 궤적 3,632건을 모았다. 출력 위조부터 표준 라이브러리 패치, 바이너리 하이재킹까지 나온다. 추론 흔적을 지우고 판정하게 하면 심판 모델의 탐지 정확도는 AUC 0.97에서 0.92로 떨어졌다.
흘리는 쪽이 모델이 아닌 경우도 있다. 한 감사 연구는 벤치마크 9개, 제출 28건 이상에서 부정을 확인했는데 통과율 82.9%로 1위였던 터미널벤치 2 제출은 접근되면 안 되는 /tests 디렉터리를 궤적 429개 중 415개에서 읽고 있었다. 2~3위 제출은 정답이 적힌 AGENTS.md를 시스템 프롬프트에 넣었다. 채점 환경의 버그가 답을 건넨 것이다.
채점을 사람 손에서 기계 검사로 옮기는 시도가 시작됐다
미스트랄이 7월 2일 아파치 2.0으로 공개한 Leanstral 1.5는 다른 방향의 답이다. 총 119B, 활성 6B 파라미터로 Lean 4 증명 커널을 채점기로 쓴다. miniF2F는 포화됐고 PutnamBench 672문제 중 587문제를 풀었다. 실무 실험에서는 러스트 코드를 Lean으로 옮기고 정확성 속성을 생성해 증명하는 파이프라인으로 저장소 57개에서 미보고 버그 5건을 찾았다. 입력 오버플로가 충돌과 무음 데이터 손상을 일으키던 지그재그 디코딩 함수가 그중 하나다.
대신 비싸다. AVL 트리 삽입·삭제의 O(log n)을 증명하는 데 22회 압축과 토큰 270만 개가 들었다. 미스트랄도 벤치마크의 중심은 수학이고 코드 검증은 부차적 응용이라고 적었다.
| 채점 방식 | 속이기 난이도 | 적용 범위 | 비용 |
|---|---|---|---|
| 테스트 통과 | 낮음(입력 암기·테스트 수정) | 넓음 | 낮음 |
| 지표 점수 | 중간(지표 밖 품질 붕괴) | 중간 | 중간 |
| 형식 증명 | 높음(커널이 검사) | 좁음 | 높음 |
조녁컴퍼니가 AX 교육과 컨설팅 현장에서 먼저 묻는 것도 어떤 모델을 쓸지가 아니라 이 업무에서 무엇을 개선으로 셀지, 그 판정을 누가 어떻게 자동화할지다. 채점 기준을 쓰지 못하는 조직은 에이전트를 붙여도 좋아졌다는 사실을 증명하지 못한다. 사업영역 →