보안 교육에서 가드레일은 늘 한 방향으로 설명된다. 모델이 위험한 요청을 거절하게 만들어 공격에 쓰이는 것을 막는다는 방향이다. 전제는 단순하다. 거절은 공격자가 치르는 비용이고, 정상 업무는 거의 걸리지 않는다는 것.
이번에 Hugging Face가 공개한 침해 사고 보고서는 그 전제가 실제 사고 현장에서 뒤집힌 순간을 기록했다. 공격은 가드레일에 걸리지 않았고, 사고를 수습하던 쪽이 걸렸다.
공격은 통과했고, 조사가 거절당했다
7월 16일 공개된 보고서에 따르면 공격자는 자율 에이전트 프레임워크로 수천 건의 개별 액션을 실행했다. 수명이 짧은 샌드박스 여러 개를 갈아타며 명령·제어 지점을 스스로 옮겼고, 데이터 파이프라인의 코드 실행 취약점 두 개가 진입로였다. 내부 데이터셋 일부와 서비스 자격증명이 노출됐다.
문제는 대응 단계에서 드러났다. Hugging Face는 17,000건이 넘는 기록을 LLM 분석 에이전트로 재구성하려 했는데, 프런티어 모델 API들이 안전장치를 이유로 공격 로그 분석을 차단했다. 공격 기법이 담긴 텍스트를 다루는 순간 거절이 나온 것이다. 결국 포렌식은 오픈웨이트 모델 GLM 5.2로 진행됐다. 제약 없는 도구를 쓴 공격자와 거절당한 방어자 — 보고서가 직접 짚은 비대칭이다.
벤더는 거절의 가격을 다시 매기기 시작했다
7월 24일 나온 Claude Opus 5는 이 문제에 대한 응답으로 읽힌다. 안전장치 개입 빈도가 상위 모델 Fable 5 대비 85% 낮고, 익스플로잇 생성은 계속 막되 방어 목적의 취약점 탐색은 허용한다고 명시했다. 거절 대신 하위 모델로 요청을 넘겨 어떻게든 응답을 돌려주는 Automatic Fallbacks 기능도 함께 나왔다. 무엇을 얼마나 거절하는가가 가격(입력 100만 토큰당 $5, 출력 $25)과 나란히 놓이는 제품 스펙이 된 것이다.
오픈웨이트는 거절이 없는 대신 다른 청구서를 내민다
오늘 0시(UTC) 공개된 Moonshot AI의 Kimi K3는 2.8조 파라미터, 약 1.4TB로 역대 최대 오픈웨이트 모델이다. 자체 서버에서 돌리면 거절 정책을 조직이 정한다. 다만 셀프호스팅에는 멀티 GPU 인프라가 필요해 대부분은 결국 인퍼런스 프로바이더를 거치게 되고, 벤더가 대신 해주던 오남용 통제도 조직이 직접 설계해야 한다. 거절 리스크를 없애는 비용은 공짜가 아니다.
사고 대응 계획에 백업 서버 목록처럼 '거절하지 않는 모델' 한 줄을 사고가 나기 전에 적어둘 시점이 됐다. 조녁컴퍼니는 AX 교육과 컨설팅에서 모델 선정 기준에 성능·가격과 함께 거절 프로파일을 포함하도록 안내한다. 사업영역 →