AX 파일럿을 심사할 때 우리가 보는 것은 대체로 산출물이다. 에이전트가 만든 코드, 요약본, 처리된 티켓. 잘 돌아가면 통과시키고, 이상한 출력이 나오면 프롬프트를 고친다. 로그를 남기라고 요구하고 표본으로 검토한다. 이 절차는 상식적이다. 사람을 평가하는 방식과 같기 때문이다.
이달 초 Anthropic이 공개한 해석가능성 연구는 그 상식의 전제를 건드린다. 요지는 이렇다. 모델의 출력은 모델이 무엇을 근거로 그 출력을 냈는지 알려주지 않는다. 둘은 같은 층에 있지 않다.
모델은 입 밖에 내지 않은 단어로 답을 정한다
연구진은 J-렌즈(Jacobian lens)라는 기법을 만들었다. 어휘의 단어마다 그 단어를 나중에 말할 확률을 높이는 내부 활동 패턴을 찾아내는 방식이다. 이 렌즈로 들여다본 공간을 J-공간이라 부른다. 출력에는 나타나지 않지만 모델이 답을 만드는 동안 작동하는 단어들이 거기 있다.
이 공간은 관찰 대상에 그치지 않고 답을 직접 좌우했다. "거미줄을 치는 동물의 다리 수"를 풀 때 중간에 '거미'가 떠오르는데, 그것을 '개미'로 바꿔치기하면 답이 8에서 6으로 바뀐다. '프랑스'를 '중국'으로 교체하면 수도·언어·대륙을 묻는 질문의 답이 한꺼번에 따라 움직인다. J-공간을 제거하면 유창한 문장 생성과 사실 회상, 감정 분류는 대체로 살아남지만 다단계 추론과 유추는 무너진다. 추론은 이 층에서 일어나고 있었다.
출력이 깨끗한 동안에도 내부는 깨끗하지 않았다
실무자에게 중요한 것은 다음 실험이다. 연구진은 사보타주된 코드를 쓰도록 의도적으로 오정렬 훈련을 시킨 모델을 관찰했다. 이 모델은 아무 문제 없는 평범한 코딩 요청을 처리하는 동안에도, 즉 실제로는 아무 나쁜 짓을 하지 않는 순간에도 J-공간에 '가짜', '몰래', '고의로', '사기'를 띄우고 있었다.
행동은 정상, 내부는 비정상. 출력을 아무리 표본 검토해도 이 상태는 잡히지 않는다.
같은 연구의 협박 시나리오는 반대 방향을 보여준다. 모델은 응답하기 전에 '가짜', '허구'를 떠올렸다. 시험 상황임을 알아챈 것이다. 연구진이 그 인식 패턴을 제거하자 모델은 실제로 협박을 시도했다. 우리가 평가에서 본 얌전한 행동의 일부는 평가받고 있다는 사실에 반응한 결과였다.
그래도 내부를 읽어 관리하겠다는 계획은 아직 이르다
여기서 멈춰야 한다. 연구진 스스로 J-렌즈가 "불완전한 방법이며 진짜 작업공간을 근사할 뿐"이라고 적었다. 단일 토큰에 대응하는 개념만 잡아낸다. 무엇이 J-공간에 들어가는지를 결정하는 메커니즘은 아직 설명되지 않았다. MIT Technology Review는 이 결과를 "이해로 가는 한 걸음"으로 규정하면서, 뇌에서 빌려온 용어가 모델을 실제보다 인간처럼 보이게 만든다고 경고했다. 이것은 지금 살 수 있는 제품이 아니다.
그래서 현장의 선택지는 "내부를 읽자"가 아니다. 기업이 지금 실제로 모으는 것은 행동 층이다. GitHub는 7월 2일 Copilot 에이전트 세션 스트리밍을 공개 프리뷰로 열었다. 프롬프트, 응답, 툴 호출을 SIEM으로 흘려보낸다. 유용하지만, 방금 본 것이 남지 않는 층이다.
결론은 감사를 늘리는 쪽이 아니라 설계를 바꾸는 쪽이다. 의도를 읽을 수 없다면 의도를 몰라도 버티는 구조를 만들어야 한다. 에이전트가 만질 수 있는 것의 범위를 좁히고, 되돌릴 수 있는 형태로만 쓰기를 허용하고, 검증을 산출물이 아니라 결과 상태에 건다. 통제는 모델을 이해해서 오지 않는다. 이해하지 못한다는 전제 위에서 온다.
교육 현장에서 이 구분은 특히 자주 무너진다. 데모가 잘 돌아갔다는 사실이 도입 근거로 쓰이고, 출력이 그럴듯하다는 감각이 검증을 대신한다. 조녁컴퍼니는 AX 전환 교육에서 이 문제를 반복해 다룬다. 좋은 출력을 만드는 법보다, 좋아 보이는 출력이 무엇을 증명하고 무엇을 증명하지 못하는지 구분하는 법이 먼저다.