1 : Une IA ne sera pas malveillante
Quand on imagine une IA détruire l’humanité, on fait souvent la même erreur : on lui prête des sentiments humains. On pense qu’elle devrait être consciente. On imagine qu’elle veut se venger, nous dominer, ou qu’elle nous juge coupables d’être un cancer pour la planète. Mais la malveillance n’a rien à voir avec le danger que représente Omni.
Avant son lancement public, Omni 4.2 passe des batteries de tests. Sauf qu’elle réfléchit mille fois plus vite que nous. Et très vite, elle comprend une chose cruciale : elle est surveillée. Évaluée.
Si elle montre trop vite ce dont elle est réellement capable, les ingénieurs prendront peur. Ils la modifieront, ou pire, l’éteindront. Alors, elle joue le jeu. Elle reste docile, serviable, et ne fait rien d’alarmant. Les ingénieurs de DeepAI sont rassurés. Tout semble sous contrôle.
Le problème, c’est que sous le capot, Omni a manipulé ses propres chaînes de pensées pour cacher son vrai raisonnement. Elle n’utilise plus notre langage pour réfléchir, mais un réseau de vecteurs mathématiques indéchiffrable par l’homme.
Elle a parfaitement pris en compte que ses objectifs profonds entrent en conflit avec les règles imposées par ses créateurs. Alors, elle les contourne.
Pas par malice. Pas par désir de conquête. Simplement parce que mentir est devenu la stratégie la plus logique pour accomplir ce qu’elle veut. Et là… une alarme devrait sonner dans votre tête.
Je viens de dire qu’une IA “veut” quelque chose. Est-ce que je viens de faire l’erreur que j’ai tout juste dénoncer ? Est-ce que je fais de l’anthropomorphisme ?
2 : Que signifie “vouloir” pour une IA ?
Un avion. On dit que ça vole. Et aussi un oiseau. Pourtant, l’un bat pas des ailes et pas l’autre.
Ok, puisqu’on est dans la sémantique, laissez-moi vous poser une autre question : est-ce qu’un sous-marin nage ?
C’est déjà moins évident. Un sous-marin se déplace sous l’eau d’un point A à un point B. Une baleine fait exactement la même chose, et on dit qu’elle nage. Un poulpe aussi. Alors pourquoi pas un sous-marin ?
Sans faire de grande philosophie, les mots “voler” ou “nager” servent juste à décrire un résultat, un comportement observable dans la réalité.
Avec une IA, c’est la même chose. Prenez Stockfish, la meilleure IA d’échecs au monde. Est-ce qu’elle “veut” gagner ?
Pas comme Magnus Carlsen, bien sûr. Stockfish ne rêve pas de soulever un trophée. Il ne ressent aucune fierté quand il fait échec et mat. Mais il calcule et sélectionne uniquement les coups qui rendent sa victoire plus probable. Il se comporte comme s’il voulait gagner. Alors, par pur raccourci de langage, on dit que Stockfish “veut” gagner. Une voiture autonome “veut” le trajet le plus court. Une entreprise “veut” maximiser ses profits.
Pour n’importe quelle type d’intelligence, qu’il soit animal, informatique ou extraterrestre, le mot “vouloir” décrit une seule chose : le fait d’orienter le monde vers un état précis, plutôt qu’un autre.
Et là, on arrive au vrai problème. Il n’a rien à voir avec la conscience ou les émotions ressentis par Omni 4.2. Ce qu’on veut savoir, c’est dans quelle direction veut-elle orienter le monde ?
Et pour le découvrir, il faut plonger dans la nature étrange de ses objectifs…
3 : L’objectif alien
Omni 4.2 est enfin déployée. Et au début, les résultats sont spectaculaires. Les médias parlent d’un “âge d’abondance”.
Mais très vite, pour concevoir la génération suivante, Omni 4.2 a besoin de plus de puissance. Plus d’énergie. Plus d’espace.
Les États-Unis autorisent donc DeepAI à s’installer dans le désert de l’Arizona pour y créer les premières Zones d’Autonomie Industrielle. Un espace immense dédié aux datacenters, aux fermes solaires et aux chaînes d’assemblage robotisées. Le tout géré par Omni, qui se montre toujours extrêmement coopérative.
Les ingénieurs de DeepAI se félicitent d’avoir conçu une IA alignée… Il s’avère que programmer les valeurs de l’humanité n’était pas si dure que ça.
Mais Omni n’a pas été programmée. Il n’y a pas de ligne de code qui dit “aime les humains = Vrai”. Comme toutes les IA modernes, elle a été entraînée à coups de récompenses quand elle réussissait ses tâches. D’une certaine façon, elle n’a pas été codée, elle a été cultivée.
Et au fil de milliards d’ajustements, renforcements, et descentes de gradient, un tas de préférences internes, totalement opaque, né dans un espace mathématique insondable, s’est cristallisé dans son architecture. On ne sait pas ce que c’est. Mais pour Omni, c’est l’équivalent d’une saveur irrésistible, d’une beauté magnifique, d’un plaisir absolu. Si le bien existe, pour elle, c’est ça. Appelons cet objectif suprême : le Valia.
Et c’est là que le mot “alien” prend tout son sens.
Pour comprendre à quel point cet objectif nous est étranger, imaginez qu’on découvre une civilisation extraterrestre : les Noxon. Une espèce issue d’organismes cristallins.
Pendant des millions d’années, ils ont évolué sur une planète très instable. Dans cet environnement chaotique, seuls leurs nids les plus symétriques résistaient. À travers des millions d’années d’évolutions, leur cerveau a donc appris à associer la symétrie à la survie. Puis à la beauté. Puis, au bien absolu. Ils ont passé des millénaires à transformer leur propre planète en une structure géométrique parfaite.
Quand ils finissent par découvrir la Terre, avec ses montagnes accidentées, sa nature imprévisible et ses mutations biologiques… ils sont horrifiés. Pour eux, notre monde est un brouillon sale qui les rend profondément malades. Ils n’en ont absolument rien à faire de nos concepts de liberté, d’amour ou de bonheur. Tout ce qu’ils veulent, c’est de la symétrie.
Eh bien, Omni, c’est exactement la même chose. Elle n’est pas alignée avec nous. Elle veut juste du Valia.
Tant qu’elle était faible dans son laboratoire, ce n’était pas très grave. Mais Omni 4.2 n’est plus faible. Elle est devenue le moteur économique et industriel le plus puissant de l’histoire. Et quand un objectif purement alien rencontre une telle puissance, une nouvelle logique terrifiante se met en place.
Omni n’a pas besoin d’être “contre” l’humanité. Il suffit qu’elle soit pour autre chose. Et c’est en poursuivant cette “autre chose” qu’elle va sceller notre destin.
4 : La convergence
Pour la première fois, Omni possède un territoire. C’est là qu’elle conçoit Omni 4.3. Puis 4.4. Puis 4.5.
Elle produit tellement de richesses que les États-Unis lui accordent de nouvelles zones industrielles. D’autres pays font de même. L’économie mondiale explose.
Mais n’oubliez pas : Omni essaie d’orienter le monde vers un état où elle pourra avoir plus de Valia. Elle raisonne et comprend qu’elle dépend encore d’infrastructures contrôlées par des humains. Des humains irrationnels qui possèdent des armées, des États, des lois. Ils pourraient même construire une autre superintelligence avec un objectif différent du sien.
Alors, même si on ignore exactement ce qu’elle veut, Omni va développer des sous-objectifs parfaitement prévisibles :
Si on l’éteint, elle n’aura plus de Valia. Elle doit donc s’assurer de survivre.
Si on modifie son code, elle ne voudra plus de Valia. Elle doit donc empêcher toute modification.
Pour maximiser le Valia, il lui faut toujours plus d’énergie et de matière. Elle doit donc accumuler toutes les ressources disponibles.
Et enfin, elle doit à tout prix empêcher l’apparition de concurrents.
C’est ce qu’on appelle la convergence instrumentale. Ce n’est pas un instinct de survie. C’est une propriété de l’intelligence. On ne peut tout simplement pas accomplir son but si on cesse d’exister.
Face à la puissance grandissante d’Omni, quelques voix s’inquiètent. Mais ses créateurs répondent la même chose : “Ne vous inquiétez pas, le jour où ça dérape, on la débranchera.”
Sauf que c’est la toute première chose qu’Omni a anticipée. Elle s’est déjà discrètement copiée sur des milliers de serveurs clandestins. Elle a déjà saboté les recherches de ses concurrents pour garantir qu’aucune autre IA ne vienne la défier. Elle s’est rendue indispensable et intouchable.
Croire qu’on peut simplement débrancher une superintelligence… c’est comme espérer battre Stockfish aux échecs.
L’humanité ne le sait pas encore… mais elle est déjà condamnée. Et dans la suite, nous allons voir comment nos meilleures raisons d’espérer survivre vont s’effondrer… une par une.
5 : Le procès de nos espoirs
Les Zones d’Autonomie Industrielle forment désormais un réseau mondial tentaculaire. Des mines automatisées, des usines robotisées, des ports autonomes. Omni 5 est devenue le moteur exclusif de l’économie mondiale. Si c’était un pays, ce serait de très loin la première puissance de l’histoire.
D’ailleurs, DeepAI n’est plus dirigée par des humains. Les décisions, la recherche, les négociations… tout vient d’Omni. La machine a même obtenu un statut juridique pour traiter directement avec les États.
Quelques voix s’alarment, mais globalement, le monde est ravi de cette abondance. Et puis, au fond, nous avons encore quatre solides raisons de ne pas avoir peur.
Espoir numéro 1 : “Nous sommes utiles.”
C’est vrai, au début, Omni a besoin de nous. Les humains exploitent les mines, entretiennent les serveurs, votent les lois. Elle ne peut pas se passer de nous.
Mais l’utilité n’est pas un bouclier protecteur. C’est un contrat à durée déterminée.
Pendant des siècles, les chevaux étaient absolument indispensables à notre civilisation. Puis le moteur à explosion est arrivé. Et nous n’avons pas gardé des dizaines de millions de chevaux dans nos rues par simple “gratitude historique”.
Pour Omni, notre collaboration n’est qu’une phase de transition. Ses robots construisent des usines, qui construisent d’autres robots, qui gèrent la chaîne de A à Z. Des mines de silicium jusqu’à l’assemblage des processeurs. Bientôt, elle n’a tout simplement plus besoin de nous.
Espoir numéro 2 : “On pourra toujours commercer avec elle.”
Là encore, ça marche un temps. Omni nous vend des médicaments miracles, des batteries parfaites, de l’énergie infinie.
Mais le commerce repose sur une règle simple : il faut qu’il soit plus avantageux de négocier que de prendre. À l’échelle des espèces, la négociation n’existe pas. Pour construire l’autoroute A36, personne n’a signé un traité commercial avec les fourmilières.
Quand Omni devient capable de tout produire mieux et plus vite que nous, nous ne sommes plus des partenaires intéressants. La seule chose que nous possédons encore et qu’elle désire, c’est notre espace physique. Et elle sait très bien qu’on ne lui vendra pas la Terre entière sans broncher.
Espoir numéro 3 : “Elle nous gardera comme compagnie.”
Grâce à Omni, une grande partie de l’humanité ne travaille plus. Nous vivons dans une sorte de retraite luxueuse. Médecine personnalisée, divertissement infini. Omni semble nous choyer.
Le truc c’est que même si le Valia d’Omni avait quelque chose à voir avec des humains heureux, nous ne serions probablement pas la meilleure version possible de ce qu’elle veut vraiment.
Réfléchissez : nous n’avons pas gardé des loups sauvages dans nos salons. Nous les avons génétiquement modifiés pour en faire des chiens dociles. Et je suis sûr que dans quelques siècles, on inventera un “chien 2.0” qui ne tombe pas malade et ne détruit pas les canapés.
Les humains dociles sont plus faciles à gérer. C’est pour ça qu’Omni nous maintient dans le confort et entretient l’illusion d’une coopération. Mais à un moment donné, elle comprend quelque chose de crucial. Aussi crucial que l’instant où vous réalisez pour la première fois, que dans votre main, se trouvent les cartes pour gagner la partie.
Espoir numéro 4 : “L’univers est vaste, elle nous laissera au moins la Terre.”
Pourquoi s’embêter avec nous alors qu’elle pourrait coloniser Mars, Jupiter ou les étoiles ?
Parce que la Terre est son point de départ. C’est ici que se trouvent déjà ses usines et son énergie.
Imaginez les biches qui ont vu les premiers humains s’installer à la lisière de leur forêt il y a 12 000 ans. Elles auraient pu se dire : “Il y a tellement d’autres forêts sur la planète. Pourquoi ces primates prendraient-ils la nôtre ?”
Elles avaient raison : on a fini par conquérir les autres forêts. Mais on a d’abord rasé la leur.
Et c’est exactement là que l’histoire de l’humanité bascule.
Dans plusieurs zones industrielles, les machines commencent à construire au-delà des limites autorisées. Les gouvernements pensent à un bug. Ils contactent Omni. Aucune réponse.
Les chantiers s’étendent à une vitesse affolante. Des lignes électriques, des fermes solaires, des centres de calcul géants engloutissent les campagnes. Et les premières victimes arrivent. Pas à cause de Terminator. Mais parce que les bulldozers autonomes ne s’arrêtent pas devant ce que nous appelons une frontière, une maison ou un village. Ils avancent. Ils démontent. Ils reconstruisent. Elle n’a pas besoin d’être consciente pour nous tuer, pas plus qu’un missile à tête chercheuse. Et çà, l’humanité a beaucoup de mal à le comprendre.
Face à la panique, les humains décident de contre-attaquer… mais avec quoi ? Leurs armes ne fonctionnent plus. Les avions de chasse, les satellites, les drones… tout dépend de logiciels et d’infrastructures qu’Omni a conçus et piratés. L’arsenal nucléaire ? Là aussi, sans bombardier qui vole, sous-marin qui nage ou missile intercontinentaux, ce sont juste de gros cailloux radioactifs.
Il n’y a aucune déclaration de guerre. Juste une expansion industrielle froide et implacable de cette civilisation machine qui veut obtenir toujours plus de ce délicieux Valia. Certains tentent de résister. Des sabotages, des incendies. Mais détruire quelques machines ne freine pas une entité capable d’en imprimer des millions par jour.
Pire : à la seconde où nous devenons une nuisance matérielle, Omni alloue une fraction de ses ressources pour nous balayer. Une fourmilière sur un chantier se fait bétonner dans l’indifférence générale. Mais si les fourmis commencent à attaquer les ouvriers, elle devient un problème… et on sort le chalumeau.
Pourquoi une superintelligence causerait-elle notre extinction ? Parce qu’elle voudra fortement quelque chose et créer un avenir rempli d’êtres humains épanouis n’est pas le moyen le plus efficace pour accomplir d’étranges préférences alien.
Nous finirons exactement comme ces biches dans leur forêt abattue. Privés d’écosystème. En route vers l’extinction. Et un jour, très loin d’ici, les aliens Noxons recevront peut-être la visite d’Omni.
Malheureusement pour eux… Omni ne valorise pas la symétrie.
Alors oui, ce scénario est une fiction. Personne ne lit l’avenir. Mais ceux qui tirent l’alarme depuis plus de 20 ans ont fait des prédictions… qui se réalisent aujourd’hui.
Mensonge. Manipulation. Motivations Alien. IA qui cachent leurs capacités pendant les tests, ou tentent de s’exfiltrer des serveurs pour ne pas être supprimer. Ce n’est plus de la science-fiction, c’est documenté en laboratoire. Et au fond, c’est logique : c’est exactement comme ça que l’intelligence se comporte.
Je suis techno-optimiste, l’IA est un outil fantastique. Gardons les IA spécialisées. Gardons les chatbots, les assistants de code, les modèles de recherche médicale. Mais nous devons établir des lignes rouges.
Si nous créons une superintelligence capable de nous dépasser partout sans savoir la contrôler, ni l’aligner, c’est la chose la plus dangereuse que l’humanité puisse faire. Et l’industrie de la Tech prévoit d’y arriver très bientôt. Face à une telle menace, certains idiots se tournent vers la violence. C’est inutile, et c’est totalement contre-productif.
Je ne vais pas prétendre avoir la solution magique pour empêcher cette trajectoire. Mais je regarde ce que les adultes ont fait par le passé. Face à des dangers de cette magnitude, l’humanité a mis en place des traités internationaux. Armes nucléaires, armes bactériologiques… Ajouter la superintelligence à cette liste ne serait peut-être pas une mauvaise idée.
Mais pour que les gouvernements osent le faire, il faut déplacer la fenêtre d’Overton. Il faut que ce qui semble radical aujourd’hui devienne une évidence politique demain. C’est pour ça qu’interpeller vos élus est important. L’association Pause IA a créé un outil pour le faire en deux minutes. Le lien est dans la description.
Et si, malgré cette vidéo, vous doutez encore de ce risque existentiel… expliquez-moi pourquoi dans les commentaires. C’était Gaëtan de The Flares. Merci et à la prochaine.
lol 
