Les développeurs utilisent l'IA pour déboguer leur code, des rapports de tests, et même créer des applications
Mais ils sont confrontés a des biais et des erreurs, d'après Applause
Bien que 75 % des personnes pensent que les chatbots s'améliorent dans la gestion des réponses toxiques ou inexactes, 50 % d'entre elles ont encore été victimes de biais et 38 % ont vu des inexactitudes, selon un nouveau rapport.
L'enquête menée auprès de plus de 6 300 consommateurs, développeurs de logiciels et professionnels des tests de qualité numérique, pour le compte de la société de tests et de qualité numérique Applause, révèle que 91 % des personnes interrogées ont utilisé des chatbots pour effectuer des recherches, et que 33 % d'entre elles les utilisent quotidiennement pour effectuer des recherches.
Depuis sa mise sur le marché, il n'est pas surprenant que ChatGPT ait été le plus utilisé (91 %), suivi de Gemini (63 %) et de Microsoft Copilot (55 %). D'autres chatbots ont été utilisés par moins d'un tiers des utilisateurs : Grok (32 %), Pi (29 %), Perplexity (24 %), Claude (23 %) et Poe (21 %).
Il est intéressant de noter que 38 % des personnes interrogées indiquent qu'elles utilisent différents chatbots en fonction de la tâche spécifique. 27 % des personnes interrogées déclarent également avoir remplacé un chatbot par un autre en raison de ses performances.
Sur les 1 539 personnes interrogées qui utilisent la GenAI pour le développement et le test de logiciels, les applications les plus courantes sont l'écriture ou le débogage de code (51 %), les rapports de test (48 %), l'élaboration de cas de test (46 %) et la création d'applications (42 %). GitHub Copilot est l'outil le plus populaire pour l'aide au codage (41 % des répondants), suivi par OpenAI Codex (24 % des répondants).
La protection de la vie privée reste cependant un sujet de préoccupation : 89 % des personnes interrogées craignent de fournir des informations privées aux chatbots, et 11 % déclarent qu'elles ne fourniraient jamais d'informations privées.
"L'enquête montre clairement que les consommateurs sont désireux d'utiliser les chatbots GenAI, et que certains les ont même intégrés dans leur vie quotidienne pour des tâches telles que la recherche. Les chatbots parviennent de mieux en mieux à gérer la toxicité, la partialité et l'inexactitude, mais des inquiétudes subsistent. Il n'est pas surprenant de constater qu'il est courant de passer d'un chatbot à l'autre pour accomplir différentes tâches, alors que les capacités multimodales font désormais partie des enjeux de la table", déclare Chris Sheehan, vice-président des comptes stratégiques et de l'IA chez Applause. "Pour gagner en adoption, les chatbots doivent continuer à former des modèles sur des données de qualité dans des domaines spécifiques et effectuer des tests approfondis auprès d'une base d'utilisateurs diversifiée afin de réduire la toxicité et l'inexactitude."
Les résultats détaillés de l'enquête menée par Applause sont présentés ci-dessous :
Lorsque Applause a interrogé sa communauté mondiale sur l'IA générative l'année dernière, l'utilisation était en hausse malgré les inquiétudes concernant les préjugés. Cette année encore, Applause a sondé la communauté pour savoir comment les consommateurs utilisent les différents outils d'IA générative, y compris les chatbots, et comment l'utilisation et les expériences des utilisateurs ont évolué au fur et à mesure que la technologie gagnait en popularité. Cette année, 6 361 consommateurs, développeurs logiciels et professionnels de l'assurance qualité ont participé à l'enquête, révélant que si la satisfaction des utilisateurs augmente, il existe encore des possibilités d'amélioration.
Les réponses sont de plus en plus utiles
L'année dernière, 7 % des 2 110 personnes interrogées ont déclaré que les réponses qu'elles recevaient des chatbots de GenAI étaient toujours pertinentes et appropriées, tandis que 50 % ont déclaré que c'était le cas la plupart du temps. Cette année, plus de deux fois plus de personnes ont participé à l'enquête et elles étaient plus susceptibles de trouver les réponses des chatbots utiles. Sur 4 229 réponses, 19 % ont indiqué que les outils GenAI qu'ils utilisent comprennent leurs questions et fournissent des réponses utiles à chaque fois, et 58,5 % ont déclaré que c'était le cas la plupart du temps.
Avec plus de 2 900 répondants indiquant qu'ils utilisent au moins un chatbot GenAI quotidiennement, il y a beaucoup de données à évaluer. En outre, 37,5 % des personnes interrogées ont déclaré utiliser différents chatbots pour différentes tâches, tandis que 26,5 % ont déclaré avoir remplacé un service par un autre, généralement en raison de problèmes de performance.
Les erreurs les plus courantes de l'UX GenAI selon 4 174 personnes interrogées sont :
ont donné une réponse générale qui ne fournissait pas suffisamment de détails : 17.5 %
ont mal compris mon invite : 16.8 %
ont donné une réponse convaincante mais légèrement incorrecte : 10.7 %
ont donné des réponses manifestement erronées : 10.3 %
Les cas d'utilisation se diversifient
Pour la plupart des utilisateurs, les chatbots remplacent les moteurs de recherche et les outils de recherche existants - 91 % des personnes interrogées ont utilisé des chatbots pour effectuer des recherches, et 33 % d'entre elles utilisent quotidiennement la GenAI pour effectuer des recherches. Pour 81 % des participants à l'enquête, les chatbots ont remplacé les moteurs de recherche pour les requêtes ; 32 % d'entre eux utilisent quotidiennement les chatbots pour la recherche. Parmi les autres cas d'utilisation populaires, citons la traduction linguistique, la rédaction créative et la rédaction de courriels, de propositions ou d'autres communications commerciales similaires.
Il n'est pas surprenant que la GenAI ait une myriade de cas d'utilisation dans le processus de développement et de test des logiciels. Lorsqu'il a été demandé aux répondants ayant indiqué qu'ils utilisaient des chatbots pour écrire ou déboguer du code, construire des cas de test ou pour des rapports de test de préciser comment ils utilisaient les chatbots pour les tests, 1 532 professionnels de l'assurance qualité ont indiqué qu'ils utilisaient le plus souvent des chatbots pour la génération de cas de test (19 %), la génération de texte pour les données de test (17 %) et la création de rapports de test (16 %). GitHub Copilot et OpenAI's Codex sont les outils les plus populaires.
Malgré les biais, les hallucinations et d'autres défauts, les utilisateurs sont optimistes à l'égard de la technologie
Cette année, 38 % des personnes interrogées ont déclaré avoir été victimes d'hallucinations, 50 % ont vu des contenus qu'elles considéraient comme biaisés et 19 % ont vu des contenus qu'elles jugeaient offensants, soit 1 à 2 points de pourcentage de plus que les résultats de l'année dernière. Bien qu'une plus grande proportion d'utilisateurs ait déclaré avoir rencontré des réponses problématiques cette année, 75 % des 4 245 personnes interrogées ont déclaré qu'elles pensaient que les chatbots s'amélioraient dans la gestion des réponses toxiques ou inexactes.
Dans quelle mesure les utilisateurs sont-ils satisfaits des expériences de la GenAI ? Plus d'un tiers (36 %) se déclarent extrêmement satisfaits, et 53,6 % se disent plutôt satisfaits. Interrogés sur les fonctionnalités potentielles qu'ils aimeraient voir dans les chatbots d'IA générative, les répondants à l'enquête ont mentionné une meilleure attribution de la source, des réponses plus localisées, la prise en charge d'un plus grand nombre de langues et une personnalisation plus poussée.
Malgré les améliorations apportées à la technologie, certains utilisateurs ne sont toujours pas convaincus de la valeur de la GenAI : 1 001 participants à l'enquête ont indiqué qu'ils n'avaient jamais utilisé la technologie ou qu'ils ne l'avaient essayée qu'une ou deux fois. Lorsqu'on leur a demandé pourquoi ils n'avaient pas adopté la GenAI, 28 % des personnes interrogées ont répondu qu'elles ne souhaitaient pas l'utiliser. C'est une bonne nouvelle pour les moteurs de recherche et les logiciels de traduction existants pour le moment, mais les progrès quasi quotidiens de l'IA pourraient séduire davantage d'utilisateurs au cours de l'année à venir.
merci à Developpez.com