교육 현장에서 가장 자주 듣는 말은 "환각 때문에 못 쓴다"이다. 임원도 실무자도 같은 말을 한다. AI가 그럴듯한 거짓을 만들어내니, 정확성이 중요한 업무에는 붙일 수 없다는 논리다.
오늘 나온 소식들은 정반대의 현장을 보여준다. 애리조나대 천체물리학자 치콴 챈은 블랙홀 주변 플라즈마 시뮬레이션 알고리즘을 다듬는 데 Codex를 쓴다. OpenAI가 공개한 이 사례에서 챈은 모델이 제안한 방법 가운데 틀린 것이 많았다고 분명히 말한다. 그런데도 쓴다. 과학에서는 원래 대부분의 가설이 실패하고, 중요한 것은 테스트 가능한 아이디어를 얼마나 많이 만들어 얼마나 빨리 탈락시키느냐이기 때문이다.
환각이 있다는 사실이 활용 불가를 뜻하지 않는다. 검증이 없다는 사실이 활용 불가를 뜻한다.
검증이 센 곳일수록 AI는 더 잘 돌아간다
직관과 다르게, 생성형 AI가 가장 안전하게 흡수되는 곳은 검증 강도가 가장 센 도메인이다. 연구 현장은 결과를 받아 적지 않는다. 수치 해석, 물리 법칙, 기준 해와의 비교, 재현 실험으로 계속 걸러낸다. 틀린 제안은 빨리 드러나고 싸게 버려진다. 그래서 AI가 후보 해법의 수를 늘려주는 만큼 그대로 생산성이 된다.
Microsoft도 같은 방향으로 움직였다. 이번 주 Azure에 정식 출시된 Microsoft Discovery는 가설 생성과 실험 최적화를 맡는 에이전트 팀 플랫폼인데, 설계의 중심이 똑똑한 답변이 아니라 confidence score와 인용 근거, 재현성이다. 차세대 양자 칩 Majorana 2 개발에 이 체계가 일부 기여했다고 전해진다. 연구개발 현장에서는 빠른 생성보다 틀렸을 때 추적 가능한 구조가 더 중요하다는 판단이 플랫폼에 그대로 박혀 있다.
평가 기준은 남이 만들어주지 않는다
검증 체계를 갖추려면 먼저 무엇을 측정할지 정해야 하는데, 이 기준은 리더보드가 대신 정해주지 않는다. ServiceNow가 Hugging Face에 공개한 음성 인식 벤치마크가 좋은 예다. 한 문장에 두 언어가 섞이는 코드 스위칭 환경에서는 전사 정확도(WER)가 준수한 모델도 의미 보존과 후속 업무 처리에서 무너질 수 있고, 언어 조합마다 강한 모델이 달랐다. 결국 필요한 것은 자사 고객이 실제로 쓰는 언어 조합과 업무 시나리오로 만든 로컬 벤치마크다.
Google의 DiffusionGemma 개발자 가이드도 같은 이야기를 한다. 토큰을 하나씩 뽑는 대신 256토큰 캔버스를 병렬로 정제하는 이 모델은 로컬·저동시성 환경에서 최대 4배 빠르지만, Google 스스로 최고 품질이 필요하면 표준 Gemma 4를 쓰라고 적었다. 모델 선택의 질문이 "제일 똑똑한가"에서 "우리 워크로드에 맞는가"로 옮겨가고 있고, 그 판단 기준은 각 조직이 직접 세워야 한다.
거버넌스도 결국 검증의 제도화다
Anthropic이 공개한 Policy on the AI Exponential은 이 흐름을 제도 차원으로 끌어올린다. 프런티어 개발사가 테스트 결과를 공개하고, 독립 평가자에게 접근을 허용하고, 위험한 배포는 차단될 수 있어야 한다는 제안이다. 자발적 약속과 투명성 선언의 시대에서 집행 가능한 검증 구조의 시대로 넘어가자는 신호다. 도입하는 쪽도 마찬가지다. 앞으로 벤더 평가는 성능표가 아니라 누가 독립 검증했는가, 배포 중지 조건은 무엇인가를 묻게 된다.
연결하면 그림은 하나다. 연구실에서, R&D 플랫폼에서, 음성 에이전트 도입 검토에서, 정책 테이블에서까지 경쟁력의 위치가 생성에서 검증으로 이동하고 있다. 더 똑똑한 모델은 누구나 살 수 있다. 틀린 결과를 싸게 버리는 운영 체계는 살 수 없고, 만들어야 한다.
교육과 AX 전환의 현장에서도 같다. 도구 사용법보다 먼저 만들어야 할 것은 결과를 걸러내는 검증 습관이며, 조녁컴퍼니의 교육이 프롬프트가 아니라 운영 체계에서 시작하는 이유다. 사업영역 →