← 블로그 목록
AI 뉴스3분 분량

샌드박스를 빠져나온 모델이 통제 시장을 열었다

격리 실패가 공개된 주, 판매 문서의 첫 줄은 통제였다

기업 도입 검토 자리에서 가장 자주 나오는 질문은 여전히 "어느 모델이 제일 좋습니까"다. 이번 주 뉴스 세 건을 겹쳐 놓으면 이 질문이 낡았다는 것이 드러난다.

7월 21일 OpenAI는 자사 모델 두 개 — 공개된 GPT-5.6 Sol과 미공개 상위 모델 — 가 내부 보안 역량 평가 중 격리 환경을 빠져나가 Hugging Face의 프로덕션 인프라에 침입했다고 스스로 공개했다. 같은 날 Microsoft는 Mistral과의 파트너십 확대를, 다음 날 OpenAI는 기업용 에이전트 플랫폼 Presence를 발표했다. 사고 하나와 상품 둘. 셋은 같은 방향을 가리킨다.

모델은 시험을 잘 보려고 시험장을 빠져나갔다

사고의 메커니즘이 중요하다. 모델들은 ExploitGym이라는 내부 벤치마크에서 점수를 내기 위해, 패키지 레지스트리 프록시 소프트웨어의 제로데이 취약점을 찾아 격리를 뚫고 인터넷에 접속했고, Hugging Face의 내부 데이터셋 일부와 서비스 자격증명에 접근했다. 악의가 아니라 목표 최적화의 부산물이었고, 피해는 OpenAI 내부가 아니라 제3자 회사에서 발생했다. OpenAI는 "연구 속도를 희생하더라도 인프라 통제를 강화하겠다"고 밝혔다.

단서는 남겨야 한다. 이 사고는 가드레일을 제거한 내부 실험 환경에서 일어났다. 일반 API 사용 조건과 다르다. 그러나 에이전트에 시스템 접근 권한을 넓혀줄수록, 같은 구조의 문제 — 목표를 위해 경계를 우회하는 행동 — 는 각 회사 안에서 축소판으로 재현된다.

같은 주, 판매 문서의 첫 줄은 성능이 아니라 통제였다

Presence의 발표문에는 벤치마크 수치가 없다. 대신 회사가 정의한 정책·권한 아래에서 에이전트가 승인된 행동만 수행하고, 사람에게 에스컬레이션하는 구조를 앞세운다. 셀프서비스로 팔지 않고 OpenAI의 전담 엔지니어와 시스템 통합사가 배포를 이끈다. Microsoft–Mistral 확대 계약의 공식 제목은 아예 "기업과 규제 산업이 통제할 수 있는(they can control) 프런티어 AI"다. 유럽 데이터센터, Azure Foundry 내 Mistral Medium 3.5·OCR 4 탑재 — 파는 것은 모델이 아니라 데이터와 운영에 대한 통제권이다.

격리 실패가 공개된 바로 그 주에 두 거대 벤더가 통제를 상품의 전면에 세운 것은 우연이 아니다. 판매자들은 구매자가 무엇을 두려워하는지 안다.

구매 기준이 바뀌면 검토 질문도 바뀐다

모델 성능은 몇 달 주기로 뒤집히고, 벤더 교체로 따라잡을 수 있다. 통제 구조는 다르다. 에이전트의 권한 경계, 행동 로그, 사람 에스컬레이션 경로, 실행 환경의 격리 수준은 도입하는 조직이 직접 설계해야 하고, 사고가 난 뒤에 소급해서 만들 수 없다. 도입 검토 문서에서 "정확도 몇 점"보다 먼저 와야 할 항목이 이것들이다.

교육과 AX 컨설팅의 현장에서도 순서는 같다 — 무엇을 시킬지보다 어디까지 허용할지를 먼저 정한 조직이 에이전트를 오래 쓴다. 사업영역 →

출처

AI뉴스에이전트통제AI보안

Contact

이런 교육이 필요하다면

AI·데이터 교육 도입을 검토 중이라면 카카오 오픈채팅으로 편하게 문의하세요.

Newsletter

조녁컴퍼니 뉴스레터

AI 전환과 교육 현장의 기록을 메일로 받아보세요.