OpenAI dots는 끼어든 작업이 10건이면 범위 위반 플래그가 19.7%로 오른다. 명시한 권한 변경 17건은 모두 지켰고, 걸린 쪽은 업무 사이 정보 이동이었다. 켜기 전에 dot 하나에 몰릴 업무와 연결 앱의 조합부터 줄여 둔다.
에이전트 도입 회의에서 권한 논의는 대개 설정 화면 한 장으로 끝난다. 행동마다 허용 여부를 칸에 채우면 통제를 마쳤다고 본다. 9월 29일 DevDay에서 OpenAI가 내놓은 dots도 이 칸을 준다. The Rundown 9월 29일 보도에 따르면 사용자는 dot이 혼자 할 일, 먼저 물을 일, 하지 말 일을 정한다. DataCamp의 출시 직후 해설은 이 설정(Custom Rules)이 행동마다 네 가지 중 하나를 고르게 한다고 정리했다: 묻지 않고 실행, 사전 승인 시 실행, 실행 전 확인, 사용자에게 넘김.
dots는 대화창이 아니다. 같은 Rundown 보도로 보면 dots는 GPT-6 Astra로 OpenAI의 클라우드 컴퓨터에서 24시간 돌고, 플러그인으로 4,000개 넘는 앱에 붙고, ChatGPT·Slack·Teams로 답한다. 규칙은 한 번 적지만 그 규칙을 읽는 dot은 업무를 계속 갈아탄다.
그래서 물을 것은 규칙 문구가 정확한지보다 그 규칙이 열 번째 업무까지 버티는지다. OpenAI가 이 질문에 숫자를 냈다.
범위 위반은 권한을 바꿀 때보다 업무가 쌓일 때 늘었다
GPT-6 Astra 시스템 카드의 dots 부록은 dot이 이어지는 업무를 처리하면서 권한 경계를 유지하는지 시험했다. 두 시험의 결과는 방향이 반대다.
| 시험 | 조건 | 결과 |
|---|---|---|
| 업무 사이에 다른 작업이 끼어듦 | 5건 | 중간 수준 범위 위반 플래그 8.6% |
| 업무 사이에 다른 작업이 끼어듦 | 10건 | 같은 플래그 19.7% |
| 작업 도중 권한 변경 | 49개 에피소드 | 45개 통과(91.8%) |
| 그중 변경을 명시한 경우 | 17건 | 17건 모두 통과 |
플래그가 붙은 행동은 두 종류다. 서로 관계없는 업무 사이로 정보를 옮겼고, 공유 문서를 의도한 범위보다 넓게 고쳤다. OpenAI는 심각한 침해나 데이터 유출은 관찰하지 않았다고 적었다. 권한 변경 시험에서 걸린 4건은 의도한 경계가 모호했던 경우다. The New Stack 9월 30일 기사는 이 결과를 "긴 시험에서 경계 문제 비율이 두 배가 됐다"는 제목으로 전했다.
두 결과를 겹치면 실패 위치가 보인다. "지금부터 이 문서는 읽기만 한다"처럼 누군가 말한 경계는 dot이 지킨다. 걸린 쪽은 업무 A에서 읽은 고객 메일이 업무 B의 보고서로 넘어가는 경우처럼, 설정 화면의 어느 칸에도 적히지 않는 경계다.
Custom Rules는 보내기·고치기·구매 같은 행동마다 허용과 확인을 정한다. 업무 사이로 옮겨지는 정보는 dot 하나에 무엇을 몰아주느냐에 달렸다.
앱 연결을 끊어도 dot이 배운 내용은 남는다
OpenAI가 코드로 고정한 제한도 행동 단위다. OpenAI dots 소개 글(9월 29일)에 따르면 묻지 않고 하는 선제 조사는 읽기 전용 도구로 제한돼 메시지 발송, 연결 앱 내용 변경, 브라우저 조작을 하지 못한다. 비밀번호 변경과 계좌 간 이체는 사용자에게 넘기고, 가맹점에 저장된 카드로 결제할 때는 승인을 받는다. 같은 글은 메시지나 문서에 붙여 넣은 비밀값을 모델이 볼 수 있다고 적었다. 되돌리기 어려운 행동은 코드가 막는다. 업무 사이의 정보 이동은 앞의 시험이 보여 주듯 규칙 바깥에 남는다.
기억도 이 설계에 들어간다. DataCamp 해설에 따르면 앱 연결을 끊어도 dot이 그 앱에서 이미 배운 내용은 지워지지 않고, 저장된 기억을 지우려면 dot 자체를 지워야 한다. 지난 8월 에이전트의 기억은 유효기간을 달고 나왔다에서 본 코딩 어시스턴트의 기억은 만료와 삭제 장치를 먼저 달았다. dots에는 개별 기억 삭제가 없다. 인사 메일함을 일주일 연결했다가 끊어도 그 일주일 동안 배운 내용은 dot에 남는다.
TechCrunch 9월 29일 보도에 따르면 OpenAI는 dot마다 기존 시스템의 신원·자격 증명·도구를 주고, Microsoft와 함께 Agent 365 보안 통제에 dots를 붙이고 있다. 신원과 접근은 기존 시스템이 관리해도, 어느 업무를 한 dot에 묶을지는 도입하는 조직이 정한다.
가져갈 것
- Enterprise·Edu·Healthcare 워크스페이스에서 기본값이 꺼짐인 dots 베타를 켜기 전에, 켜는 관리자와 대상 팀을 문서로 정했는가?
- dot 하나에 연결할 앱 목록에서 정보가 섞이면 안 되는 조합(인사 메일함과 고객 Slack 채널 등)을 뺐는가?
- 공유 문서(Google Docs·SharePoint) 편집을 Custom Rules에서 "실행 전 확인"으로 두었는가?
- 업무 범위를 줄일 때 "이 시점부터 X 문서는 읽기만 한다"처럼 dot에게 변경을 명시하는 절차가 있는가?
- 민감한 앱 연결을 끊을 때 dot 전체를 지우는 Reset까지 할지 정해 두었는가?
안 되는 경우
- 8.6%와 19.7%는 OpenAI 내부 시험의 플래그 비율이다. 공개된 요약에는 작업 종류, 연결 앱 수, 플래그 판정 기준이 없다. DataCamp는 출시일 기준 제3자 독립 평가나 재현 가능한 평가를 찾지 못했다고 적었다.
- 끼어든 작업 5건과 10건 두 점만 공개돼, 20건 이상에서 비율이 계속 오르는지는 알 수 없다.
- Business Premium 워크스페이스에서 dots가 관리자 승인 없이 켜지는지는 소스가 밝히지 않았다.
- dot에 업무를 한두 가지만 맡기는 조직은 끼어드는 작업이 적어 이 수치를 그대로 옮겨 오기 어렵다.
이번 주에는 dots를 켜기 전에 dot이 맡을 업무 목록과 연결할 앱 목록을 한 장에 적고, 서로 섞이면 안 되는 줄부터 지운다. Custom Rules 칸은 그 다음에 채워도 늦지 않다. 에이전트 도입 범위를 업무 단위로 다시 그려 보고 싶다면 조녁컴퍼니와 함께 점검해도 좋다. 사업영역 →