어떤 팀이 코딩 에이전트를 붙여 PR을 자동으로 연다. 데모는 깔끔하다. 그런데 실서비스 직전에 멈춘다. 이유를 캐보면 "모델이 덜 똑똑해서"가 아니다. 이 에이전트가 어떤 토큰으로 저장소에 들어오는지, 잘못 짠 코드를 누가 걸러내는지, 자율로 도는 동안 무엇을 못 하게 막을지가 정리되지 않아서다.
2026년 6월 중순에 나온 발표들은 서로 다른 회사에서 나왔지만 같은 곳을 가리킨다. 모델의 능력은 이미 자율 실행으로 넘어갔고, 같은 주에 플랫폼들은 그 자율을 가두는 통제 장치를 제품으로 내놨다. 경쟁의 무게중심이 "얼마나 똑똑한가"에서 "어디까지 시키고 무엇을 막는가"로 옮겨갔다.
능력은 이미 자율 실행으로 넘어갔다
6월 18일 OpenAI는 거의 자율적인 AI 화학자(GPT-Rosalind)가 Molecule.one과 함께 의약품 합성의 핵심 반응 하나를 개선한 사례를 공개했다. 모델이 답을 말하는 단계를 지나, 실험 설계와 개선을 스스로 도는 단계로 들어섰다는 뜻이다. 같은 날 공개된 ChatGPT Health는 다른 방향에서 같은 문제를 안는다. 건강 정보를 ChatGPT에 연결하되, 전용 암호화와 격리로 대화를 분리해 보관한다고 밝혔다. 능력을 높이는 발표가 아니라, 민감한 데이터에 닿는 자율 기능에 격리를 먼저 붙이는 발표다.
자율성이 올라갈수록 실수의 비용도 올라간다. 화학 반응을 개선하는 에이전트, 의료 기록을 읽는 에이전트, 저장소에 코드를 쓰는 에이전트는 틀렸을 때 되돌리기 어려운 결과를 남긴다. 그래서 발표의 무게가 능력에서 경계로 옮겨간다.
같은 주, 통제 표면이 제품이 됐다
6월 18일 Google DeepMind는 "Securing the future of AI agents"에서 AI Control Roadmap을 공개했다. 모델 정렬에만 기대지 않고 시스템 수준 보안을 더하는 방어 심층화(defense-in-depth) 접근이다. 핵심 사례로, Gemini Spark 에이전트에 실시간 감시기를 붙여 의도치 않은 데이터 삭제 같은 문제에 즉시 대응한다고 밝혔다. 모델을 더 믿는 게 아니라, 모델이 틀릴 것을 전제로 바깥에 감시와 차단을 두는 설계다.
GitHub은 같은 흐름을 권한과 검증에서 보여준다. 6월 9일부터 서드파티 코딩 에이전트(Claude·Codex 포함)가 만든 코드도 CodeQL 분석, 의존성의 Advisory Database 대조, 시크릿 스캔을 자동으로 거친다. 6월 11일부터는 에이전트 워크플로가 오래 사는 개인 액세스 토큰 대신 빌드에 내장된 GITHUB_TOKEN을 쓰게 해, 장기 토큰을 들고 다니는 위험을 줄였다. 에이전트의 능력을 키우는 변경이 아니라, 그 능력이 닿는 권한의 범위를 좁히는 변경이다.
병목은 모델이 아니라 그 바깥이다
네 발표는 모델 점수를 올리지 않는다. 대신 자율 실행을 감시하고, 데이터를 격리하고, 토큰을 좁히고, 산출물을 검증한다. 도입이 멈추는 지점이 모델 성능이 아니라 이 통제 표면이라는 것을, 만드는 쪽이 먼저 인정한 셈이다.
교육과 AX 현장에서도 같은 기준이 작동한다. 어떤 에이전트를 도입했는가가 아니라, 그 에이전트에게 어떤 권한을 주고 무엇을 감시·검증하는가에서 성패가 갈린다. 조녁컴퍼니가 도구보다 운영 체계를 먼저 묻는 이유다. 사업영역 →