GitHub Copilot 실험의 성공 여부 평가

Copilot 평가판을 실행할 때 성공의 열쇠는 팀이 Copilot을(를) 채택하고 사용하는 방법을 이해하는 것입니다. Copilot 사용 메트릭 대시보드 및 API의 인사이트를 결합하여 초기 결과를 평가하고, 사용 요구 사항을 식별하고, 출시를 확장할지 여부를 결정할 수 있습니다.

이 자습서에서는 다음을 수행하는 방법을 보여 줍니다.

명확한 평가판 목표 및 성공 기준을 정의합니다.
대시보드에서 채택 및 참여 데이터를 보고 해석합니다.
시험 결과를 검토하세요.
개발자의 질적 피드백을 통합합니다.
Copilot의 사용 메트릭 API를 통해 평가를 확대하세요.
롤아웃 확대 여부를 결정합니다.

1단계: 시험 운영 목표 설정

메트릭을 분석하기 전에, 조직의 성공적인 시험을 정의하는 결과를 결정하세요. 명확한 목표를 설정하면 결과를 보다 쉽게 해석하고 이해 관계자에게 가치를 전달할 수 있습니다.

예시 목표	성공의 모습	관련 메트릭
입양	대부분의 라이선스 개발자는 Copilot을(를) 정기적으로 활성화하고 사용합니다.	총 활성 사용자, DAU(일일 활성 사용자), WAU(주간 활성 사용자)
참여	개발자는 여러 기능 및 모드를 탐색합니다.	채팅별 요청 기능, 에이전트 채택
생산성 및 만족도	개발자는 제안에서 효율성 향상 및 신뢰를 보고합니다.	수락률, 내부 피드백, 만족도 설문 조사
활성화 효과	팀이 Copilot 사용 방법과 시기를 파악합니다.	언어 및 IDE 간 사용량의 폭

2단계: 대시보드에서 채택 및 참여 메트릭 보기

귀하의 기업으로 이동하세요. 예를 들어 GitHub.com의 Enterprises 페이지에서.

       **인사이트** 탭을 클릭합니다.

귀하의 기업으로 이동하세요. 예를 들어 GitHub.com의 Enterprises 페이지에서.

       **인사이트** 탭을 클릭합니다.

대시보드에는 라이선스가 부여된 모든 사용자에 대해 28일 동안 집계된 IDE 원격 분석 데이터가 표시됩니다.

평가판 중에 다음 주요 메트릭에 집중합니다.	Metric	표시되는 내용
중요한 이유	총 활성 사용자	평가 기간 동안 Copilot을(를) 사용한 개발자 수입니다.
라이선스 활성화 및 전체 도달 범위를 나타냅니다.	DAU(일일 활성 사용자)	매일 활성 상태인 고유 사용자 수입니다.
관심 증가, 안정 또는 감소 여부에 관계없이 초기 채택 추세를 보여줍니다.	에이전트 도입	Copilot 에이전트을(를) 사용한 활성 사용자의 비율입니다.
기본 완성을 넘어 참여 및 탐색의 깊이를 보여 줍니다.	수락률	수락된 Copilot 제안의 백분율입니다.
가치와 사용자 만족도의 주요 지표인 관련성과 신뢰를 반영합니다.	언어 및 모델 사용	사용되는 프로그래밍 언어 및 모델의 배포입니다.

참고

Copilot 사용 통계는 지원되는 IDE에서의 활동만을 반영합니다. Copilot 채팅의 사용량은 GitHub.com, GitHub Mobile, Copilot 코드 검토, 코파일럿 CLI 대시보드 데이터에 합산되지 않습니다.

Copilot가 각 팀에서 최고의 가치를 제공하는 위치를 식별하는 데 도움이 됩니다.

데이터 재사용 가능성.copilot.copilot-사용량-메트릭-소스 %} 3단계: 평가판 결과 평가

대시보드 데이터를 평가판 목표와 비교합니다.	일반적인 성공 지표는 다음과 같습니다.	목표
측정할 내용	성공의 징후	라이선스 활성화
총 활성 사용자	평가판 라이선스의 70~90개% 첫 달 이내에 사용량이 표시됩니다.	지속적인 참여
매일 및 매주 활성 사용자	DAU 및 WAU는 시간이 지남에 따라 안정화 또는 증가합니다.	사용 범위
채팅 기능당 요청, 언어 사용량	사용자는 여러 언어 및 기능을 실험합니다.	사용량의 깊이
에이전트 채택, 수락률	개발자는 고급 Copilot 기능을 탐색하고 있습니다.	긍정적인 피드백

팀 설문 조사 또는 내부 피드백

개발자는 생산성 향상 또는 워크플로 개선 사항을 보고합니다.

하나 이상의 목표가 충족되지 않는 경우, 롤아웃을 확장하기 전에 추가적인 지원, 소통, 또는 IDE 구성이 필요한지를 고려하십시오. 4단계: 정성적 피드백 통합

채택 및 참여는 양적이지만 만족도 메트릭은 인식된 가치와 개발자 감정을 이해하는 데 도움이 됩니다.	GitHub 외부에서 다음 피드백 원본을 분석에 통합하는 것이 좋습니다.
출처	Description
Copilot 만족도 설문 조사	유용성, 신뢰 및 생산성에 대한 개발자의 주기적인 피드백입니다.
내부 피드백 채널	워크플로 변경 및 인식된 속도 향상에 대한 팀 회고 또는 펄스 설문 조사. 지원 추세

"어떻게 해야 하나…"라는 질문의 감소

시간이 지남에 따른 질문은 종종 신뢰도와 만족도가 높아진 것을 나타냅니다.

사용량 메트릭을 개발자 피드백과 결합하면 Copilot의 영향을 가장 완벽하게 볼 수 있습니다. 5단계: Copilot의 사용 메트릭 API를 통해 평가를 확대하세요.

평가판이 끝나면 Copilot 사용 메트릭 API를 통해 채택 및 참여를 계속 모니터링할 수 있습니다.

API를 사용하면 수집한 데이터와 분석 빈도를 더 자세히 제어할 수 있습니다. 엔터프라이즈 전체 데이터 검색 Copilot 사용 메트릭 엔드포인트를 통해 엔터프라이즈의 최근 28일간 사용 현황 보고서를 다운로드할 수 있습니다.

이러한 보고서에는 Copilot 사용 메트릭 대시보드에 표시된 것과 동일한 데이터 세트가 포함됩니다.	API는 두 개의 엔드포인트를 제공합니다.
`GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest`	엔드포인트
`GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest`	Description

최신 28일 엔터프라이즈 수준 사용 보고서에 대한 서명된 다운로드 링크를 반환합니다.

최신 28일 사용자 수준 사용 보고서에 대한 서명된 다운로드 링크를 반환합니다.

{
  "download_links": [
    "https://example.com/copilot-usage-report.json"
  ],
  "report_start_day": "2025-07-18",
  "report_end_day": "2025-08-14"
}

각 엔드포인트 응답에는 파일에서 다루는 보고 기간과 함께 Azure Blob Storage 보고서를 다운로드하기 위한 시간 제한 서명 URL이 포함됩니다.

응답 예제:

전체 필드 정의는 GitHub Copilot 사용 메트릭을 참조하세요. 보고 자동화

보고를 자동화하기 위해 일정한 간격(예: 매일 또는 매주)에 API를 호출하도록 예약된 작업을 설정하고 추가 분석을 위해 결과를 데이터베이스 또는 data warehouse 저장할 수 있습니다.

이를 통해 시간에 따른 추세를 추적하고 필요에 따라 사용자 지정 보고서를 생성할 수 있습니다.

6단계: 롤아웃 확장 여부 결정	대시보드 및 API 데이터의 결과를 사용하여 Copilot 사용량 확장에 대한 정보에 입각한 결정을 내릴 수 있습니다.	의사 결정 영역
질문할 질문	지원 메트릭 입양	대부분의 평가판 사용자가 활성 상태인가요?
Copilot을(를) 일관되게 사용하고 있나요?	총 활성 사용자, DAU, WAU	활성화 요구 사항
팀에 더 많은 지침 또는 리소스가 필요한가요?	언어 또는 모델에서 사용량이 낮거나 일관되지 않음	참여
개발자가 기본 완성을 넘어 기능을 탐색하고 있나요?	에이전트 채택, 기능별 채팅 요청	만족도

팀이 Copilot을(를) 가치 있게 여기고 있나요?

수락률, 설문 조사의 피드백

결과를 문서화하고 관련자와 공유하여 출시의 다음 단계를 알릴 수 있습니다. 다음 단계