Lorsque vous exécutez un Copilot essai, la clé du succès consiste à comprendre comment les équipes adoptent et utilisent Copilot. En combinant les données du tableau de bord et de l'API de Copilot, vous pouvez évaluer les premiers résultats, identifier les besoins de mise en place et décider s'il faut élargir le déploiement.
Ce didacticiel vous explique les procédures suivantes :
- Définissez des objectifs d’essai clairs et des critères de réussite.
- Afficher et interpréter les données d’adoption et d’engagement dans le tableau de bord.
- Évaluez les résultats de votre essai.
- Incorporez des commentaires qualitatifs des développeurs.
- Étendez votre évaluation en utilisant l'API des métriques d'utilisation de Copilot.
- Déterminez s’il faut développer le déploiement.
Étape 1 : Définir vos objectifs d’essai
Avant d’analyser les métriques, déterminez les résultats qui définissent une version d’évaluation réussie pour votre organisation. Définir des objectifs clairs facilite l’interprétation des résultats et la communication de la valeur aux parties prenantes.
| Exemple d’objectif | À quoi ressemble le succès | Mesures associées |
|---|---|---|
| Adoption | La plupart des développeurs sous licence activent et utilisent Copilot régulièrement. | Nombre total d’utilisateurs actifs, utilisateurs actifs quotidiens (DAU), utilisateurs actifs hebdomadaires (WAU) |
| Engagement | Les développeurs explorent plusieurs fonctionnalités et modes. | Demandes par fonctionnalité de conversation, adoption de l’agent |
| Productivité et satisfaction | Les développeurs signalent des gains d’efficacité et une confiance dans les suggestions. | Taux d’acceptation, commentaires internes, enquêtes de satisfaction |
| Efficacité de l'habilitation | Les équipes comprennent comment et quand utiliser Copilot. | Étendue de l’utilisation entre les langues et les IDE |
Étape 2 : Afficher les métriques d’adoption et d’engagement dans le tableau de bord
- Accédez à votre entreprise. Par exemple, depuis la page Entreprises sur GitHub.com.
- Cliquez sur l’onglet Insights.
Le tableau de bord affiche 28 jours de données de télémétrie IDE agrégées pour tous les utilisateurs sous licence. Concentrez-vous sur ces métriques clés pendant votre version d’évaluation :
| Unité de mesure | Ce qu’il montre | Pourquoi cela se produit-il |
|---|---|---|
| Nombre total d’utilisateurs actifs | Nombre de développeurs qui utilisaient Copilot au moins une fois pendant la période d’évaluation. | Indique l’activation de la licence et la portée globale. |
| Utilisateurs actifs quotidiens (DAU) | Nombre d’utilisateurs uniques actifs chaque jour. | Révèle les tendances en matière d’adoption précoce , que l’intérêt soit croissant, stable ou en déclin. |
| Adoption de l’agent | Pourcentage d’utilisateurs actifs qui ont utilisé agent Copilot. | Montre la profondeur de l’engagement et de l’exploration au-delà des achèvements de base. |
| Taux d’acceptation | Pourcentage de suggestions Copilot acceptées. | Reflète la pertinence et la confiance : indicateurs clés de la valeur et de la satisfaction des utilisateurs. |
| Utilisation du langage et du modèle | Distribution des langages de programmation et des modèles utilisés. | Permet d’identifier où Copilot apporte la plus grande valeur au sein des équipes. |
Remarque
Les métriques d’utilisation de Copilot reflètent uniquement l’activité dans les IDE pris en charge. L’utilisation dans Tchat Copilot sur GitHub.com, GitHub Mobile, révision du code Copilot, ou Copilot CLI n’est pas incluse dans les données du tableau de bord.
Étape 3 : Évaluer vos résultats d’essai
Comparez vos données de tableau de bord à vos objectifs d’évaluation. Les indicateurs de réussite courants sont les suivants :
| Objectif | Ce qu'il faut mesurer | Signes de réussite |
|---|---|---|
| Activation de licence | Nombre total d’utilisateurs actifs | 70 à 90% de licences d’évaluation montrent l’utilisation au cours du premier mois. |
| Engagement soutenu | Utilisateurs actifs quotidiens et hebdomadaires | DAU et WAU stabilisent ou augmentent au fil du temps. |
| Étendue de l’utilisation | Demandes par fonctionnalité de conversation, utilisation de la langue | Les utilisateurs expérimentent plusieurs langues et fonctionnalités. |
| Profondeur de l’utilisation | Adoption de l’agent, taux d’acceptation | Les développeurs explorent les capacités avancées de Copilot . |
| Commentaires positifs | Enquêtes d’équipe ou commentaires internes | Les développeurs signalent des gains de productivité ou des améliorations de flux de travail. |
Si un ou plusieurs objectifs ne sont pas atteints, déterminez si une configuration d’activation, de communication ou d’IDE supplémentaire peut être nécessaire avant de développer le déploiement.
Étape 4 : Incorporer des commentaires qualitatifs
Bien que l’adoption et l’engagement soient quantitatifs, les métriques de satisfaction vous aident à comprendre la valeur perçue et le sentiment du développeur. Envisagez d’incorporer les sources de commentaires suivantes, de l’extérieur GitHub, dans votre analyse.
| Origine | Descriptif |
|---|---|
| Enquêtes de satisfaction Copilot | Commentaires périodiques des développeurs sur l’utilité, la confiance et la productivité. |
| Canaux de commentaires internes | Rétrospectives d’équipe ou sondages rapides sur les changements de flux de travail et les améliorations de rapidité perçues. |
| Tendances de l'assistance | Moins de « comment dois-je… » les questions au fil du temps indiquent souvent une confiance et une satisfaction accrues. |
Combiner les indicateurs d'utilisation avec le retour des développeurs offre la vue la plus complète de l’impact de Copilot.
Étape 5 : Étendre votre évaluation via l’API de métriques d’utilisation Copilot
Après votre essai, vous pouvez continuer à surveiller l’adoption et l’engagement via l'API des métriques d'utilisation Copilot. L’API vous donne plus de contrôle sur les données que vous collectez et la fréquence à laquelle vous l’analysez.
Récupérer des données à l’échelle de l’entreprise
Vous pouvez utiliser les points de terminaison des métriques d'utilisation Copilot pour télécharger les rapports d'utilisation sur 28 jours pour votre entreprise. Ces rapports incluent le même jeu de données présenté dans le tableau de bord des métriques d'utilisation Copilot. L’API fournit deux points de terminaison.
| Point de terminaison | Descriptif |
|---|---|
GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest | Retourne un lien de téléchargement signé pour le dernier rapport d’utilisation au niveau de l’entreprise de 28 jours. |
GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest | Retourne un lien de téléchargement signé pour le dernier rapport d’utilisation au niveau de l’utilisateur de 28 jours. |
Chaque réponse de point de terminaison inclut des URL signées limitées dans le temps pour télécharger les rapports à partir de Azure Blob Storage, ainsi que la période de rapport couverte par le fichier.
Exemple de réponse :
{
"download_links": [
"https://example.com/copilot-usage-report.json"
],
"report_start_day": "2025-07-18",
"report_end_day": "2025-08-14"
}
Pour obtenir des définitions de champ complètes, consultez GitHub métriques d’utilisation de Copilot.
Automatiser vos rapports
Pour automatiser vos rapports, vous pouvez configurer un travail planifié pour appeler l’API à intervalles réguliers (par exemple, tous les jours ou toutes les semaines) et stocker les résultats dans une base de données ou data warehouse pour une analyse plus approfondie. Cela vous permet de suivre les tendances au fil du temps et de générer des rapports personnalisés en fonction des besoins.
Étape 6 : Décider s’il faut développer le déploiement
Utilisez vos résultats du tableau de bord et des données d’API pour prendre une décision éclairée concernant l'expansion de l’utilisation de Copilot.
| Zone de décision | Questions à se poser | Soutien des métriques |
|---|---|---|
| Adoption | La plupart des utilisateurs en période d'évaluation sont-ils actifs ? Ils ont-ils continué à utiliser Copilot de manière cohérente ? | Nombre total d’utilisateurs actifs, DAU, WAU |
| Besoins de facilitation | Les équipes ont-elles besoin d’aide ou de ressources supplémentaires ? | Utilisation faible ou incohérente entre les langages ou les modèles |
| Engagement | Les développeurs explorent-ils des fonctionnalités au-delà des achèvements de base ? | Adoption de l’agent, demandes de conversation par fonctionnalité |
| Satisfaction | Les équipes trouvent-elles Copilot précieux ? | Taux d’acceptation, commentaires des enquêtes |
Documentez vos résultats et partagez-les avec les parties prenantes pour informer la phase suivante de votre déploiement.
Étapes suivantes
Maintenant que vous savez comment mesurer le succès de votre Copilot version d’évaluation, vous pouvez continuer à surveiller l’adoption et l’engagement au fur et à mesure que vous développez l’utilisation. Pour en savoir plus sur la conduite de l’adoption et l’activation des développeurs, consultez Promouvoir l'adoption de GitHub Copilot dans votre entreprise.