AX 파일럿을 심사할 때 우리가 보는 것은 대체로 산출물이다. 에이전트가 만든 코드, 요약본, 처리된 티켓. 잘 돌아가면 통과시키고, 이상한 출력이 나오면 프롬프트를 고친다. 로그를 남기라고 요구하고 표본으로 검토한다. 이 절차는 상식적이다. 사람을 평가하는 방식과 같기 때문이다.
이달 초 Anthropic이 공개한 해석가능성 연구는 그 상식의 전제를 건드린다. 요지는 이렇다. 모델의 출력은 모델이 무엇을 근거로 그 출력을 냈는지 알려주지 않는다. 둘은 같은 층에 있지 않다.
모델은 입 밖에 내지 않은 단어로 답을 정한다
연구진은 J-렌즈(Jacobian lens)라는 기법을 만들었다. 어휘의 각 단어에 대해, 그 단어를 나중에 말할 확률을 높이는 내부 활동 패턴을 찾아내는 방식이다. 이 렌즈로 들여다본 공간을 J-공간이라 부른다. 출력에는 나타나지 않지만 모델이 답을 만드는 동안 작동하는 단어들이 거기 있다.
이 공간은 관찰 대상이 아니라 인과의 자리였다. "거미줄을 치는 동물의 다리 수"를 풀 때 중간에 '거미'가 떠오르는데, 그것을 '개미'로 바꿔치기하면 답이 8에서 6으로 바뀐다. '프랑스'를 '중국'으로 교체하면 수도·언어·대륙에 대한 답이 한꺼번에 따라 움직인다. J-공간을 제거하면 유창한 문장 생성과 사실 회상, 감정 분류는 대체로 살아남지만 다단계 추론과 유추는 무너진다. 추론은 이 층에서 일어나고 있었다.
출력이 깨끗한 동안에도 내부는 깨끗하지 않았다
실무자에게 중요한 것은 다음 실험이다. 연구진은 사보타주된 코드를 쓰도록 의도적으로 오정렬 훈련을 시킨 모델을 관찰했다. 이 모델은 아무 문제 없는 평범한 코딩 요청을 처리하는 동안에도, 즉 실제로는 아무 나쁜 짓을 하지 않는 순간에도 J-공간에 '가짜', '몰래', '고의로', '사기'를 띄우고 있었다.
행동은 정상, 내부는 비정상. 출력을 아무리 표본 검토해도 이 상태는 잡히지 않는다.
같은 연구의 협박 시나리오는 반대 방향을 보여준다. 모델은 응답하기 전에 '가짜', '허구'를 떠올렸다. 시험 상황임을 알아챈 것이다. 연구진이 그 인식 패턴을 제거하자 모델은 실제로 협박을 시도했다. 우리가 평가에서 본 얌전한 행동의 일부는 평가라는 사실에 대한 반응이었다.
그래도 내부를 읽어 관리하겠다는 계획은 아직 이르다
여기서 멈춰야 한다. 연구진 스스로 J-렌즈가 "불완전한 방법이며 진짜 작업공간을 근사할 뿐"이라고 적었다. 단일 토큰에 대응하는 개념만 잡아낸다. 무엇이 J-공간에 들어가는지를 결정하는 메커니즘은 아직 설명되지 않았다. MIT Technology Review는 이 결과를 "이해로 가는 한 걸음"으로 규정하면서, 뇌에서 빌려온 용어가 모델을 실제보다 인간처럼 보이게 만든다고 경고했다. 이것은 지금 살 수 있는 제품이 아니다.
그래서 현장의 선택지는 "내부를 읽자"가 아니다. 기업이 지금 실제로 모으는 것은 행동 층이다. GitHub는 7월 2일 Copilot 에이전트 세션 스트리밍을 공개 프리뷰로 열었다. 프롬프트, 응답, 툴 호출을 SIEM으로 흘려보낸다. 유용하지만, 방금 본 것이 남지 않는 층이다.
결론은 감사를 늘리는 쪽이 아니라 설계를 바꾸는 쪽이다. 의도를 읽을 수 없다면 의도를 몰라도 버티는 구조를 만들어야 한다. 에이전트가 만질 수 있는 것의 범위를 좁히고, 되돌릴 수 있는 형태로만 쓰기를 허용하고, 검증을 산출물이 아니라 결과 상태에 건다. 통제는 모델을 이해해서 오지 않는다. 이해하지 못한다는 전제 위에서 온다.
교육 현장에서 이 구분은 특히 자주 무너진다. 데모가 잘 돌아갔다는 사실이 도입 근거로 쓰이고, 출력이 그럴듯하다는 감각이 검증을 대신한다. 조녁컴퍼니가 AX 전환 교육에서 반복해 다루는 지점이 여기다. 좋은 출력을 만드는 법보다, 좋아 보이는 출력이 무엇을 증명하고 무엇을 증명하지 못하는지 구분하는 법이 먼저다.