Copilot 임팩트 대시보드의 도입 단계 비교는 같은 사람의 전후가 아니라 다른 집단 둘이다, GitHub 문서가 먼저 그렇게 적었다

Copilot 임팩트 대시보드에 9월 17일 기능별 참여 지표가 붙었다. 단계별 산출량 비교는 같은 사람의 전후가 아니라 다른 집단 둘이다. 활성 기준이 28일 중 이틀이라는 것부터 보고서 각주에 적어야 한다.

교육이 끝나고 한 분기가 지나면 같은 질문이 온다. 도입 효과가 있었느냐. 예전에는 답할 숫자가 없어서 각자 저장소를 뒤졌다. 지금은 관리자 화면을 열면 답처럼 생긴 표가 이미 떠 있다.

Copilot 임팩트 대시보드는 도입 단계별로 카드를 놓고, 카드마다 사용자당 월 병합 PR 수와 하루 코드 라인 수를 적어 준다. 캡처해서 보고서에 붙이면 회의가 5분 만에 끝난다. 문제는 그 표가 무엇과 무엇을 비교한 숫자인지 화면에 적혀 있지 않다는 점이다.

인과가 아니라는 말은 벤더가 먼저 적어 뒀다

GitHub 지표 해석 문서는 이렇게 적는다. 이 비교는 방향성 연관으로 다루고, 도입의 변화가 산출의 변화를 일으켰다는 증거로 보지 말 것. 이어지는 문장이 더 분명하다. 도입 배수는 같은 사용자의 시간 전후가 아니라 서로 다른 두 집단을 비교한 값이며, 팀 구성·프로젝트 복잡도·연차 차이가 도입만큼이나 그 차이를 만들 수 있다.

화면은 그렇게 읽히지 않는다. 8월 7일 추가된 투자수익 섹션은 개발자당 월 비용, 급여 대비 비중, 월 PR 수를 passive 집단과 agent-first 집단으로 갈라 나란히 세운다. 급여 선택기까지 있어 관리자가 자기 급여 가정을 넣어 볼 수 있다. GitHub은 그 비용이 AI 크레딧 소비에 근거한 추정이고 급여 선택기는 실제 급여가 아닌 모델링 입력이라고 적어 뒀다.

숫자를 만든 쪽은 한계를 적었고, 숫자를 옮기는 쪽은 그 각주를 같이 옮기지 않는다. AI 성과 회의에 이제 병합 기록을 들고 들어간다에서 채택률을 직접 재자고 적었던 이유가 여기 있다. 벤더가 배송해 준 표가 곧 우리 조직의 인과는 아니다.

9월 17일에 늘어난 것은 성과가 아니라 분류의 해상도다

GitHub 9월 17일 공지는 임팩트 대시보드에 기능별 참여를 추가했다. enterprise와 organization 리포트에 copilot_feature_engagement 객체가 생기고, 28일 동안 최소 이틀 이상 쓴 사용자를 코드 완성, 에이전트 편집, 코드 리뷰(수동·능동), 클라우드 에이전트, CLI, 앱으로 나눠 센다.

조건이 셋 붙는다. 이 숫자는 28일 집계 리포트에만 나오고 사용자 단위로는 제공되지 않는다. 한 사용자가 여러 기능에 중복해 잡힌다. 계산이 불가능하면 객체가 아예 없거나 null이 된다.

그래서 기능별 숫자를 더해 "우리 조직 활성 인원"이라고 쓰면 인원이 부풀고, 비어 있는 칸을 "쓰지 않았다"로 읽으면 없는 사실을 만든다. 누가 덜 쓰는지 찾아 좌석을 회수하려 해도 이 화면으로는 못 한다. 사람 단위 숫자가 여기 없다.

기준선은 28일 중 이틀이고, 그 창은 매일 다시 계산된다

문서 기준으로 Phase 1은 코드 완성과 IDE 에이전트 모드, Phase 2는 GitHub 기반 에이전트 표면 하나(클라우드 에이전트, 코드 리뷰, CLI), Phase 3은 다중 에이전트 또는 Copilot 앱이다. 어느 문턱도 넘지 못한 사용자는 Passive로 묶인다. GitHub은 Passive가 비활성을 뜻하지 않고 분류할 만큼의 사용이 아직 없다는 신호라고 적었다. 28일 창에서 활성일이 이틀 미만이면 여기로 간다.

단계는 매일 28일 창으로 다시 계산된다. 사람이 그대로여도 오래된 날이 창을 빠져나가면 줄이 움직인다. 분기 보고서에 단계별 인원을 적으면서 기준일을 같이 적지 않으면, 다음 분기에 같은 표를 다시 만들 수 없다.

단계를 가르는 기준이 기능 표면이라는 점도 남는다. GitHub은 8월 28일 공지에서 9월 28일 이후 github.com의 Copilot Chat, 모바일 Copilot Chat, 클라우드 에이전트를 하나의 통합 경험으로 내놓는다고 밝혔다. 표면 단위 분류와 표면 통합이 같은 달에 놓여 있다.

가져갈 것

• 이번 분기 보고서의 "활성 사용자"에 28일 중 최소 이틀 기준이라는 각주가 붙어 있는가?
• 기능별 참여 숫자를 더해 전체 인원으로 적은 표가 있는가? 한 사용자가 여러 기능에 중복 계산된다
• 단계별 카드의 월 병합 PR 수를 "Copilot 덕분"이라고 적은 문장이 보고서에 있는가?
• 좌석 회수 후보를 이 대시보드로 고르고 있는가? 사용자 단위 수치는 제공되지 않는다
• 단계별 인원을 기록할 때 28일 창의 기준일을 함께 적었는가?
• 9월 28일 Copilot Chat과 클라우드 에이전트 통합 전의 기준선 수치를 따로 저장해 뒀는가?

안 되는 경우

• Copilot Business·Enterprise 관리자 콘솔이 없는 조직에는 이 화면 자체가 없다. 사용량 지표 정책이 켜져 있고 소유자이거나 View Copilot Metrics 권한이 있어야 열린다.
• 공지는 copilot_feature_engagement가 없거나 null일 수 있다고만 적었고, 어떤 조건에서 계산이 불가능해지는지는 밝히지 않았다. 빈 값이 무사용인지 계산 실패인지 가릴 근거가 문서에 없다.
• 28일 중 이틀이 왜 분류의 문턱인지에 대한 근거는 공개되지 않았다. 주 1회 리뷰 요청이 정상인 팀에서는 이 문턱이 실제 사용을 과소평가한다.
• Claude Code나 Codex를 함께 쓰는 조직이면 이 대시보드는 Copilot 몫만 덮는다. 나머지 도구의 분모는 여전히 각자 재야 한다.

이번 주에 바꿀 것은 표가 아니라 각주다. 도입 성과 보고서 첫 장에 세 줄을 먼저 적는다. 이 숫자의 활성 기준은 28일 중 이틀이다, 비교 대상은 같은 사람의 전후가 아니라 서로 다른 두 집단이다, 인과는 우리 저장소에서 따로 잰다. 세 줄이 붙으면 같은 화면을 그대로 써도 회의에서 나오는 질문이 달라진다. 사업영역 →