« Les agents d'IA se trompent approximativement 70 % du temps »....

Pour échanger sur les avancées, les applications et les défis de l'IA.
Répondre
Avatar du membre
chtimi054
Administrateur du site
Administrateur du site
Messages : 9533
Enregistré le : ven. 26 juil. 2013 06:56
A remercié : 128 fois
A été remercié : 690 fois
    Windows 10 Firefox

« Les agents d'IA se trompent approximativement 70 % du temps »....

Message par chtimi054 »

« Les agents d'IA se trompent approximativement 70 % du temps », d'après une étude de l'université de Carnegie Mellon
Qui intervient pourtant dans un contexte de licenciements des humains au profit de l'IA


Les agents d’intelligence artificielle se trompent approximativement 70 % du temps. C’est ce qui ressort d’une récente étude de l’université de Carnegie Mellon qui intervient pourtant dans un contexte de licenciements des humains au profit de l’intelligence artificielle. Un paradoxe quand on prend en compte que des intervenants de renom de la filière informatique considèrent que l’intelligence artificielle c’est 90 % de marketing et 10 % de réalité.

Image Ce pourcentage d’erreur est même susceptible d’être revu à la hausse avec l’évolution de l’intelligence artificielle

L’industrie de l’intelligence artificielle fait en effet face à un mur : plus l’IA devient intelligente, plus elle hallucine.

Un document technique publié par OpenAI révèle que ses modèles o3 et o4-mini hallucinent plus souvent que les précédents modèles axés sur le raisonnement (o1, o1-mini et o3-mini) et plus que ses modèles traditionnels qui ne sont pas dotés de la capacité de raisonnement, tels que GPT-4 et GPT-4o.

Plus inquiétant encore, OpenAI ne sait pas pourquoi cela se produit. Ce phénomène est inhabituel, car, jusqu'à présent, les nouveaux modèles ont tendance à moins halluciner à mesure que la technologie d'IA sous-jacente s'améliore. OpenAI indique que « des recherches supplémentaires sont nécessaires » pour comprendre pourquoi les hallucinations s'aggravent au fur et à mesure que les modèles de raisonnement évoluent. Voici les résultats des tests :

o3 hallucine dans 33 % des cas sur le benchmark interne d'OpenAI appelé PersonQA ;
o4-mini atteint un taux de 48 %, soit près d'une réponse sur deux incorrecte ;
en comparaison, les modèles précédents comme o1 et o3-mini affichaient des taux respectifs de 16 % et 14,8 %.



L'enjeu est d'autant plus important que les entreprises continuent de consacrer des dizaines de milliards de dollars à la mise en place d'infrastructures sophistiquées pour des modèles d'IA axés sur le raisonnement de plus en plus puissants. Le problème est si répandu qu'il existe des entreprises qui se consacrent à aider les entreprises à surmonter les hallucinations. Les hallucinations réduisent considérablement la valeur de la technologie de l'IA générative.

« Ne pas traiter ces erreurs correctement élimine fondamentalement la valeur des systèmes d'IA », a déclaré Pratik Verma, cofondateur d'Okahu, une société de conseil qui aide les entreprises à mieux utiliser l'IA. Il est également important de souligner que les derniers modèles d'IA de Google et ceux de la startup chinois DeepSeek subissent le même sort que les derniers systèmes d'OpenAI, ce qui indique qu'il s'agit d'un problème à l'échelle de l'industrie.
Des entreprises comme Duolingo remplacent pourtant des travailleurs par l’intelligence artificielle

Luis von Ahn, cofondateur et PDG de Duolingo, a récemment partagé avec le personnel un courriel dans lequel il annonce la nouvelle orientation de la plateforme. Le courriel a été publié sur le compte LinkedIn de Duolingo et informe que la plateforme se dirige vers un avenir centré sur l'IA. Dans le courriel, Luis von Ahn explique la raison d'être du pivot de Duolingo vers l'IA et en cite les avantages, bien que son annonce a déclenché une vague de critiques.

« Duolingo va devenir AI-first », a-t-il écrit. Cela signifie que l'entreprise va adopter l'IA comme pilier central de son développement. L'IA ne sera plus simplement un outil parmi d'autres, mais le point de départ de la conception de ses produits, de son expérience utilisateur et de son fonctionnement global.

Dans le cadre de cette initiative, Duolingo va procéder à quelques changements pour intégrer l'IA à ses processus internes. Ce sera frontal, puisque de nombreux emplois et contractuels seront directement remplacés par l'IA qui, selon le PDG, est bien plus intuitive, économique, mais surtout pratique. « L'IA modifie déjà la façon dont le travail est effectué. Lorsqu'il y a un changement aussi important, la pire chose à faire est d'attendre », écrit Luis von Ahn.

merci à Developpez.com
Avatar du membre
MyPOV
Membre VIP
Membre VIP
Messages : 1288
Enregistré le : sam. 11 déc. 2021 14:40
A remercié : 118 fois
A été remercié : 160 fois
    Windows 10 Edge

Re: « Les agents d'IA se trompent approximativement 70 % du temps »....

Message par MyPOV »

Politicien : C'est sûr, on va être remplacés par des IA, elles ne se trompent que 70% du temps ^^
:D
"𝓛𝓮 𝓭𝓸𝓾𝓽𝓮 𝓮𝓼𝓽 𝓵𝓮 𝓬𝓸𝓶𝓶𝓮𝓷𝓬𝓮𝓶𝓮𝓷𝓽 𝓭𝓮 𝓵𝓪 𝓼𝓪𝓰𝓮𝓼𝓼𝓮" 𝖠𝗋𝗂𝗌𝗍𝗈𝗍𝖾, 𝖼𝗈𝗆𝗉𝗅𝗈𝗍𝗂𝗌𝗍𝖾 𝖦𝗋𝖾𝖼
Répondre