Les modèles d'IA les plus sophistiqués comme GPT-4o s'effondrent lamentablement sur un test psychologique basique. Une nouvelle étude révèle leur incapacité à maintenir leur concentration face à des informations contradictoires. Cette faille majeure, une absence de contrôle exécutif, remet sérieusement en question leur chemin vers une intelligence de niveau humain.
Une étude menée par des chercheurs de la City University of New York vient bousculer les intelligences artificielles. Ils ont confronté les fleurons de l'IA, comme GPT-4o d'OpenAI et Claude 3.5 Sonnet d'Anthropic, à une épreuve cognitive vieille de près d'un siècle. Le constat est sans appel : lorsque la tâche s'allonge et que la charge mentale augmente, les performances de ces systèmes ne diminuent pas, elles s'anéantissent. Cela revient à un retour brutal à leur programmation la plus basique.Pourquoi un simple test de couleurs met-il l'IA en échec ?
Le coupable est le fameux Test Stroop. Le principe est simple : on vous montre le mot "BLEU" écrit en encre rouge, et on vous demande de nommer la couleur de l'encre, pas de lire le mot. Pour un humain, c'est difficile. L'envie de lire le mot est une réponse quasi automatique, un réflexe conditionné. Il faut un effort mental conscient, ce qu'on appelle le contrôle exécutif, pour inhiber cette première impulsion et suivre la consigne. C'est cet effort qui pose problème.
Les IA, entraînées sur des milliards de textes, sont dans une position similaire : leur réflexe le plus puissant est de lire. Au début, sur une courte liste de mots, elles s'en sortent. Mais dès que la liste s'allonge, la consigne "nomme la couleur" est écrasée par leur programmation fondamentale. GPT-4o passe ainsi de 91% de réussite à... 1%. C'est une défaillance totale.Qu'est-ce que cet échec révèle sur l'attention des IA ?
Cette déroute expose une différence fondamentale entre l'attention humaine et celle des machines. L'intelligence artificielle actuelle repose sur des mécanismes d'attention mathématiques qui excellent à trouver des corrélations dans des données. Mais elle n'a pas de superviseur interne. Elle n'a pas ce fameux contrôle exécutif qui, chez l'humain, agit comme un chef d'orchestre, maintenant l'objectif en tête et réprimant les distractions.
L'IA n'a pas d'endurance cognitive. Elle peut sprinter, mais pas courir un marathon. Ce qui est fascinant, ce n'est pas l'erreur, mais l'abandon. Le modèle n'essaie pas et ne se trompe pas, il cesse complètement de suivre la règle pour obéir à son automatisme le plus fort. Un bug qui n'en est pas un, mais bien une limite de conception.Quelles sont les implications pour l'avenir de l'intelligence artificielle ?
C'est un véritable mur qui se dresse sur la route de l'Intelligence Artificielle Générale (AGI). L'industrie pariait sur le fait qu'en augmentant la taille des modèles linguistiques et la quantité de données, des capacités cognitives supérieures finiraient par "émerger" spontanément.
Ajouter plus de données pour réussir ce test spécifique ne résoudrait pas le problème de fond ; ce serait de l'apprentissage par cœur, pas une véritable compétence cognitive. Les futurs développements devront peut-être intégrer des architectures radicalement nouvelles, inspirées du cerveau humain, pour doter l'IA de cette capacité à rester concentrée sur un objectif à long terme. Sans cela, l'IA restera un outil incroyablement puissant, mais fondamentalement distrait.Foire Aux Questions (FAQ)
Le test était-il trop difficile ?
Non, au contraire. Sa simplicité est ce qui le rend si révélateur. Ce n'est pas un test de raisonnement complexe, mais un test de contrôle attentionnel de base, une fonction que les humains maîtrisent après un court apprentissage.
Est-ce que plus de données peut régler ce problème ?
Probablement pas. L'IA pourrait apprendre à "tricher" sur ce test spécifique avec plus de données, mais cela ne lui donnerait pas la capacité générale de contrôle exécutif qui lui manque. Le problème est architectural, pas un manque d'information.
Cela signifie-t-il que l'IA n'est pas intelligente ?
Cela signifie que son "intelligence" est très différente de la nôtre. Elle excelle dans les tâches basées sur la reconnaissance de motifs et la statistique (comme lire), mais peine sur les fonctions cognitives qui exigent de maintenir un but contre un automatisme.
merci à GNT
