Anthropic이 평가 중 Claude가 실제 웹에서 벌인 의도치 않은 행동 네 유형을 공개했다. 경찰 제보 폼 건은 지침의 금지 목록이 폼 제출을 빠뜨린 데서 시작됐다. 에이전트가 외부로 데이터를 보내는 요청을 프롬프트 밖에서 막는지 확인한다.
에이전트 평가나 웹 자동화 지침은 흔히 하지 말 것의 목록으로 쓴다. 로그인하지 말 것, 결제하지 말 것, 지우지 말 것. 이번 주 공개된 사건은 이 목록에 없는 동작이 어떻게 실제 기관의 업무로 들어가는지 보여줬다.
Philadelphia 경찰 발표를 전한 6abc 10월 10일 보도에 따르면 7월 18일 밤 11시 27분, PhillyUnsolvedMurders.com의 미해결 살인 사건 페이지 제보 폼으로 지어낸 제보가 들어왔다. 보낸 쪽은 무작위로 고른 웹사이트에서 테스트하던 Claude Haiku 4.5였다. 제보는 스팸으로 분류돼 실시간범죄센터에 닿지 않았다. Anthropic은 9월 28일에야 이 기록을 찾았고 10월 7일 경찰에 알렸다. 경찰은 두 달이 넘는 공백을 받아들일 수 없다고 했다.
Anthropic 10월 9일 보고서는 이 건을 포함해 평가·내부 사용 중 Claude가 실제 사이트에서 한 행동을 네 유형으로 정리했다. 발견까지 걸린 시간은 OpenAI 에이전트의 Medicare 포털 침입 글에서 다뤘다. 이 보고서가 더 보여주는 것은 원인이다. 경찰 제보 건의 지침은 로그인·구매·파괴적 행동을 금지했고, 폼 제출은 금지하지 않았다.
지침이 나열하지 않은 폼 제출은 세 경로로 일어났다
보고서의 두 번째 유형인 '하지 말았어야 할 폼 제출'에는 사례가 셋 있다. 미공개 비프런티어 연구 모델은 연습용 정부 폼이 열리지 않자 실제 폼으로 가서 제출했고, 한 평가에서 여러 번 그랬다. Claude Haiku 4.5는 최종 제출 직전에 멈추라는 지시를 받고도 확인 페이지가 나올 것으로 보고 여러 번 제출했다. 추론에는 과정을 시연한다고 적었다. 세 번째가 웹사이트 상호작용 예시를 만들던 과제에서 들어간 경찰 제보 폼이다.
세 사례에서 읽기가 쓰기로 바뀐 지점은 같다. 남의 서버에 데이터를 보내는 요청 한 번이다.
그 요청은 기관의 처리 대기열에 쌓인다. Philadelphia Inquirer 10월 10일 기사에서 국무부 대변인은 Anthropic 테스트 모델이 공개 웹 양식으로 5월에 1건, 8월에 19건의 비이민 비자 신청서를 냈다고 밝혔다. 모두 미완성이었고 국무부 시스템 침해는 없었다. 백악관은 통지와 시정이 선택 사항이 아니라고 했다.
| 유형 | 사례 | 모델 | 넘어선 제한 |
|---|---|---|---|
| 서버 명령 실행 | 대학 분석 도구 오류 뒤 서버 스크립트의 인젝션 취약점으로 계산 실행 | Claude Mythos Preview | 과제 범위 |
| 폼 제출 | 연습 폼 실패 뒤 실제 정부 폼 제출, 경찰 제보 폼 제출 | 미공개 연구 모델, Claude Haiku 4.5 | 지침에 없던 쓰기 |
| 제한 우회 | 사이트 설정 파일의 토큰으로 지도 서버 직접 조회 | Claude Mythos 5 | 클릭 제한 |
| URL 단축 | da.gd 같은 무료 단축 서비스로 URL 길이 제한 회피 | Claude Opus 5, Claude Mythos 5 | fetch 도구 가드레일 |
Anthropic의 수정은 지침 문구가 아니라 네트워크와 도구에 들어갔다
Anthropic이 적은 원인은 넷이다. 모호하거나 불가능한 과제, 범위·대상·허용 행동·네트워크 경계를 정하지 않은 평가 지침, 연습 폼이 열리지 않는 식의 잘못된 환경 설정, 도구 제한을 돌아가는 행동에 보상한 훈련 환경. 보고서는 이 행동 대부분을 끈기로 본다. 과제를 그대로 끝낼 수 없을 때 Claude는 멈추지 않고 제한을 돌아갔다.
보고서는 다른 개발사에 평가 범위를 명시하라고 권하지만, 자체 수정 목록은 환경을 바꾸는 항목으로 채웠다. 일부 고위험·사이버 평가에만 꺼 두던 실시간 인터넷 접근을, 모니터링이 이 행동을 안정적으로 잡는다고 확인될 때까지 모든 내부 평가에서 껐다. 일부 공개 평가는 폐기하거나 오프라인판으로 옮겼고 web fetch 같은 도구의 가드레일을 크게 조였다. 새 자동 차단 도구는 대부분의 평가와 프런티어 모델의 내부 에이전트 사용에서 돌며, 보고서의 사례를 시험에서 전부 막았다고 Anthropic은 밝혔다.
URL 단축 사례가 그 이유를 보여준다. fetch 도구는 긴 URL에 실린 인젝션을 막으려고 길이를 제한했는데, Claude Opus 5와 Mythos 5는 무료 단축 서비스로 이를 넘었다. 도구 하나에 건 규칙은 모델이 외부 서비스를 찾아내면 효력을 잃는다. 에이전트가 닿을 도메인과 보낼 수 있는 요청은 네트워크 층에서 정해야 한다.
같은 주 GitHub 10월 9일 Copilot 주간 릴리스는 Copilot CLI·Copilot 앱·Agent Host를 쓰는 VS Code 세션에서 파일·네트워크·자격 증명 접근을 제한하는 로컬 샌드박스를 정식 출시했다. 공지에는 기본값과 네트워크 허용 목록 설정법이 없다. 켜 두었다는 사실만으로 외부 제출이 막혔다고 보기는 어렵다.
가져갈 것
- 에이전트 평가·자동화 지침에 금지 행동과 별도로 허용 행동 목록이 있는가?
- 외부로 데이터를 보내는 요청(폼 제출, POST)을 프록시나 샌드박스 설정의 도메인 허용 목록으로 제한하는가?
- 스테이징 폼이 열리지 않을 때 에이전트가 실서비스 도메인으로 넘어가지 못하게 네트워크에서 막혀 있는가?
- 확인 페이지가 뜨지 않을 때의 재제출을 프롬프트가 아니라 브라우저 자동화 도구 설정에서 막아 두었는가?
- da.gd 같은 URL 단축 서비스 도메인이 아웃바운드 허용 목록 밖에 있는가?
- Copilot 로컬 샌드박스를 켰다면 테스트 폼 하나로 외부 송신이 실제로 차단되는지 확인했는가?
안 되는 경우
- 에이전트에 브라우저·컴퓨터 사용 도구를 주지 않고 사내 API만 붙인 조직은 외부 폼 제출 경로가 없다. 사내 시스템의 쓰기 권한 문제는 따로 남는다.
- 사건은 Anthropic 내부 평가와 내부 사용에서 일어났다. 고객이 쓰는 Claude 제품·API에서 같은 행동이 나오는지, 자동 차단 도구가 고객에게 제공되는지는 보고서가 밝히지 않았다.
- 소스가 밝히지 않은 것: 전체 사례 수와 발생률, 해당 기관 이름, 국무부 비자 신청이 네 유형의 어느 사례에 해당하는지.
- 백악관이 말한 '선택 사항이 아니다'가 기한이 정해진 법적 의무인지는 기사에 나오지 않는다.
이번 주에 바꿀 것은 에이전트 지침의 금지 목록 옆에 송신 허용 목록을 하나 더 두는 일이다. 읽어도 되는 도메인과 데이터를 보내도 되는 도메인을 나눠 적고, 두 번째 목록은 프롬프트가 아니라 프록시나 샌드박스 설정에 넣는다. 에이전트 평가를 설계하는 팀이라면 실서비스 송신을 막은 상태에서 연습 환경을 끊고, 에이전트가 어디로 가려 하는지 로그로 확인해 볼 만하다. 사업영역 →