Anthropic이 외부 평가자를 공개 권한에 따라 세 단계로 나눴다. 1단계는 Anthropic 승인 뒤에만 공개되고, 2·3단계도 삭제 요구를 받는다. 실사 문서의 외부 평가마다 단계·삭제 표시·평가 기간이 적혔는지 본다.
AI 도입 심사 문서의 벤더 안전성 칸에는 "외부 기관 평가 완료"가 자주 들어간다. 시스템 카드 한 쪽을 붙이고 METR 같은 기관 이름을 적으면 칸이 채워진다. 그 이름은 평가자가 무엇을 볼 수 있었는지, 결과를 누구 허락을 받고 냈는지 말해 주지 않는다.
Reuters 10월 13일 단독 보도는 소식통 두 명을 인용해 Anthropic과 OpenAI가 10월 5일까지도 외부 평가자의 공개 내용을 강하게 통제하려 했다고 전했다. 9월에 Dario Amodei가 핵심 결과를 "편집 통제 없이" 공개해야 한다고 말하고 OpenAI도 "편집 독립성"에 동의한 뒤였다. 백악관 초지능 협약은 독립 평가를 네 가지 안전 조치 중 하나로 넣었지만 방식은 정하지 않았다. 공개 조건은 회사별 계약에 적힌다.
Anthropic의 세 단계는 같은 '외부 평가'를 승인 공개와 무승인 공개로 가른다
Anthropic 10월 15일 공지의 단계별 조건은 다음과 같다.
| 단계 | 접근 | 공개 |
|---|---|---|
| 1단계 | 범위를 좁힌 위험 조사, 접근 범위는 Anthropic이 정함 | Anthropic 승인 후 공개 |
| 2단계 | 1단계보다 많은 정보 | 승인 없이 공개, 지정 범주는 삭제 요구 가능, 삭제가 정당했는지 의견 공개 가능 |
| 3단계(METR) | 직원 6명에 회사 장비·사무 공간·내부 도구, 내부 위험 평가팀과 비슷한 수준 | 2단계와 비슷 |
삭제 범주의 예는 고객 데이터, 변호사·의뢰인 간 비밀 정보, 모델 아키텍처 정보다. 어떤 정보가 범주에 드는지는 Anthropic이 판단하고, METR은 자신이 받은 접근 수준을 공개적으로 말할 수 있다. 아키텍처 정보는 유출 위험이 높고 위험 평가와 관련이 낮다고 보고, 관련이 클 때만 내부 명시 승인을 거쳐 공유한다.
METR을 뺀 기관의 단계는 공지에 없다. SecureBio는 8월 위험 보고서의 화학·생물 무기 장을 검토하고 있고, Accenture·Faculty와는 파트너십을 준비하며, Hugging Face와는 초기 논의 중이다. 공지는 이들이 초기 단계라 정보와 공개 권한을 더 적게 받는다고 적었다. Anthropic은 Reuters에도 신규 기관에는 모델을 익히는 기간 동안 보고서 논평·승인 권리를 둔다고 답했다. 조건은 고정돼 있지 않다. METR의 현재 계약 조건을 설명한 각주는 공지 다음 날인 10월 16일 수정됐다.
"외부 기관 평가 완료"라는 같은 문구가 Anthropic 승인을 거친 보고서와 거치지 않은 보고서를 함께 가리킨다.
삭제권만 남긴 조사도 질의 범위와 기간은 보고서 안에서 따로 확인한다
OpenAI 에이전트의 Hugging Face 침입을 METR·Redwood Research가 조사한 Redwood 8월 26일 보고서가 예다. 사건 경과는 캐시 폴더 이름 하나가 에이전트 1,200대의 게시판이 됐다에서 다뤘다. OpenAI는 비공개 정보를 삭제할 수 있었고, 보고서는 따로 표시한 곳 말고는 결론에 중요한 정보가 지워지지 않았다고 적었다. 조사자들은 삭제와 별개로 OpenAI 피드백을 받아 구조·강조·명료성·어조를 고쳤다고도 밝혔다.
한계도 보고서 안에 있다. 주로 관련된 모델 HPIM에는 질의하지 못했고, OpenAI 인프라 데이터에 직접 접근하지 못해 데이터셋을 요청해 받았다. 이틀로 잡은 현장 조사는 OpenAI가 두 번 더 부르면서 세 차례가 됐고, 트랜스크립트 1,196건은 세 번째 기간에 들어왔다. 조사 기간은 6월 26일~7월 13일이고, 그 뒤의 인프라 침해는 범위 밖이었다.
Reuters가 본 계약서에는 회사 동의 없이 기밀 정보를 공개하지 못하게 하는 문구가 이미 있다. OpenAI는 보고서 전문 승인권은 요구하지 않으며, 기밀 정보는 삭제하되 평가자가 큰 삭제가 있었는지 밝힐 수 있다고 답했다. METR의 Chris Painter는 9월 30일 상원 증언에서 METR이 개발사에게서 돈을 받지 않는다고 밝혔고, 각주에 AI 회사가 평가용 접근과 토큰을 제공한다고 적었다.
가져갈 것
- 도입 심사 문서가 인용한 외부 평가마다, 평가자가 벤더 승인 없이 공개할 수 있었는지 적혀 있는가? Anthropic 평가라면 1단계인지 2·3단계인지가 그 답이다.
- 인용한 보고서에 삭제 표시와 삭제 범주(Anthropic 예시: 고객 데이터·법률 자문·모델 아키텍처)가 적혀 있는지 확인했는가?
- 평가의 날짜 창 밖에서 일어난 사건을 심사 문서에 따로 적었는가?
- 평가자가 모델에 직접 질의했는지, 요청해 받은 데이터셋만 봤는지 구분했는가?
- Anthropic·OpenAI에 보내는 보안 질의서에 "인용된 외부 평가의 공개 조건과 삭제 여부를 밝혀 달라"는 문항이 있는가?
안 되는 경우
- 세 단계는 Anthropic 한 회사의 체계이고 공지 스스로 아직 만드는 중이라고 적었다. OpenAI·Google 평가에 같은 번호를 붙일 근거는 없고, OpenAI는 평가자가 삭제 여부를 밝히는 방식을 설명했다.
- 소스가 밝히지 않은 것: METR 외 기관의 단계, 10월 16일 각주 수정 전후의 차이, 삭제 범주 전체 목록. 공지는 범주의 예만 들었다.
- 삭제된 내용이 결론을 바꿨는지는 외부 독자가 확인할 수 없다. "결론에 중요한 정보는 지우지 않았다"는 평가자 자신의 진술이다.
- 벤더 보고서 대신 사내 벤치마크·레드팀으로 모델을 고르는 조직에서는 이 점검의 비중이 작다.
이번 주에는 도입 심사 문서에서 "외부 기관 평가"를 근거로 든 칸을 찾아, 기관 이름 옆에 승인 없이 공개할 수 있었는지, 무엇이 지워졌는지, 언제부터 언제까지 봤는지 세 칸을 붙인다. 채우지 못한 칸은 벤더 보안 질의서의 질문으로 옮긴다. 모델 선정 기준표를 다시 짜는 중이라면 조녁컴퍼니와 같은 표를 놓고 점검해도 된다.