Copilot est jugé peu fiable, inefficace et enclin à générer des contenus fictifs
L'assistant d'IA Copilot de Microsoft n'a pas impressionné les employés du ministère australien du Trésor. À la suite d'une période d'essai, les participants ont jugé Copilot moins utile, car il s'appliquait à moins de charges de travail qu'ils ne l'espéraient. L'opinion des travailleurs sur la capacité de Copilot à améliorer leur travail a baissé. L'étude a révélé qu'un peu plus de 20 % des participants ont utilisé Copilot jusqu'à 5 fois par semaine, tandis que la majorité l'a utilisé 3 fois ou moins par semaine. Pourtant, Microsoft impose de plus en plus Copilot dans certaines régions et oblige les utilisateurs à payer l'accès, ce qui crée des frustrations.
Les capacités de Copilot n'ont pas convaincu les fonctionnaires australiens
Le ministère australien du Trésor a mené une expérience visant à mesurer les gains de productivité que Microsoft 365 Copilot peut apporter aux employés. L'expérience a été menée en 2024 et a vu la participation de 218 employés du ministère australien du Trésor. Pendant quatorze semaines, les participants à l'étude ont été invités à utiliser Copilot et ont parallèlement répondu à des enquêtes concernant leur expérience quant à l'utilisation de l'assistant d'IA.
Ces enquêtes constituent la base d'un rapport d'évaluation publié le 11 février 2025 par le Centre australien d'évaluation (ACE). Les conclusions du rapport font écho à des études antérieures selon lesquelles les assistants d'IA tels que Copilot et ChatGPT ne sont pas utiles dans les tâches complexes.
L'étude a révélé que les fonctionnaires ont utilisé Copilot moins que prévu et que leurs attentes quant à son utilité n'ont pas été satisfaites. Selon le rapport, bien que son utilisation s'est avérée utile pour des tâches de base, globalement, l'assistant d'IA de Microsoft n'a pas répondu aux attentes des fonctionnaires. Et environ 20 % des participants ont utilisé Copilot jusqu'à cinq fois par semaine, tandis que la majorité l'a utilisé trois fois ou moins par semaine.
Par exemple, avant l'essai, les trois quarts des participants ont déclaré qu'ils s'attendaient à ce que Copilot les aide à accomplir certaines tâches, alors que seulement 38 % d'entre eux ont déclaré que cela s'était produit pendant l'essai. Selon les critiques toutefois, Copilot n'est tout simplement pas à la hauteur.
Par ailleurs, 15 % des participants ont déclaré qu'ils pensaient que Copilot les aiderait à accomplir la plupart des tâches, alors que seulement 2 % d'entre eux l'ont affirmé par la suite. L'opinion des fonctionnaires du Trésor australien sur la capacité de Copilot à améliorer leur travail a également baissé.
L'expérience révèle que Copilot n'excelle que dans « les tâches basiques »
L'essai a proposé quatre cas d'utilisation pour Copilot : générer un contenu structuré ; soutenir la gestion des connaissances ; synthétiser et hiérarchiser les informations : et entreprendre des tâches de processus. Deux tiers des employés du ministère australien du Trésor ont déclaré que Copilot était utile pour les tâches administratives et les processus de travail de base, mais que l'assistant d'IA ne pouvait pas être utilisé pour des tâches plus complexes.
Les tâches que les participants estiment que Copilot gère le mieux sont « la recherche et la synthèse d'informations, la rédaction de comptes rendus de réunions, la gestion des connaissances et la rédaction de contenu ». Le rapport décrit ces tâches comme des « tâches administratives de base ». Ce qui a permis aux employés de passer plus de temps sur des tâches stratégiques ou à forte valeur ajoutée. Mais les gains de temps ne sont pas convaincants.
Mais ils ont passé plus de temps à examiner ce que Copilot avait produit pour détecter et corriger les erreurs. Ce qui peut contrebalancer tout gain de temps. L'étude met également en évidence une différence significative dans la manière dont les employés et les cadres considèrent l'efficacité de l'essai de Copilot.
Près de 60 % des travailleurs ont déclaré qu'il avait eu un impact positif, contre un peu moins de 40 % des cadres, tandis que 34 % des participants et 59 % des cadres ont affirmé qu'il n'avait eu aucun impact. Pratiquement aucun des participants n'a déclaré que l'utilisation de Copilot a eu un impact négatif.
Impact de Copilot sur l'accessibilité, l'inclusion et la confiance au travail
Microsoft appréciera sans doute les autres résultats inattendus de ce rapport. L'utilisation de Copilot a permis d'améliorer « l'accessibilité et l'inclusion du personnel neurodivergent et à temps partiel, ou des personnes souffrant de problèmes de santé nécessitant un arrêt de travail ». Copilot a produit des résumés automatiques des réunions manquées et aplanit le terrain pour ceux qui ont du mal à naviguer dans les normes ou la culture du lieu de travail.
Ainsi, certains membres du personnel ont fait état d'une « légère augmentation de la confiance en soi au travail », les jeunes employés ou les personnes récemment embauchées étant les plus susceptibles d'exprimer de tels sentiments. Une autre conclusion suggère que l'IA en tant que service pourrait ne pas être appropriée pour des agences telles que le Trésor. Les outils tels que Copilot posent notamment des préoccupations en matière de sécurité :
Cet avis suggère que les organisations qui traitent des données sensibles feront probablement mieux avec une infrastructure d'IA sur site. Les modèles d'IA peuvent ingurgiter des données sensibles lors de leur utilisation et les incorporer à leurs données d'entraînement. L'IA peut divulguer ces données plus tard.Extrait du rapport
Bien que la sécurité des données et des avis protégés du gouvernement soit de la plus haute importance, les fonctions de base d'un produit d'IA générative devraient idéalement être compatibles avec les exigences en matière de sécurité.
Il est difficile de savoir si les produits sont susceptibles d'évoluer au fil du temps pour répondre aux besoins de sécurité stricts du Trésor, ou si Copilot lui-même continuera d'évoluer pour incorporer des informations externes dans ses résultats sans alimenter l'algorithme avec des données internes du Trésor.
L'année dernière, Copilot s'est retrouvé au cœur d'une controverse sur la gestion des données sensibles en entreprise après des utilisateurs ont découvert qu'ils peuvent accéder sans autorisation aux documents des RH et aux courriels du PDG. L'incident souligne les défis de l'IA en matière de sécurité des données.
L'IA dans le service public : les enseignements tirés de l'essai de Copilot
Le ministère australien Trésor a tiré les enseignements suivants du projet pilote : sélection plus rigoureuse du personnel qui utilise Copilot, nécessité de mieux prendre en compte la formation nécessaire à l'utilisation de l'IA et les risques qu'elle comporte, et opportunité d'un suivi continu pour tester l'impact de l'IA sur le lieu de travail. Ces informations pourraient être utiles dans la mise en œuvre de nouveaux projets à l'avenir.
Le rapport contient également des recommandations pour les futurs déploiements de l'IA générative dans le service public. Il s'agit notamment de fournir des utilisations claires et spécifiques pour gérer les attentes, d'adopter une approche progressive en commençant par un petit groupe d'employés, d'établir des lignes directrices pour garantir la transparence et d'évaluer le niveau approprié d'investissement dans l'éducation et la formation.
merci à Developpez.com
