Une intelligence très supérieure s'intéresserait-elle encore à nous ?
Les débats sur l'intelligence artificielle reviennent souvent aux mêmes questions. Une machine deviendra-t-elle consciente ? Finira-t-elle par nous remplacer, ou par nous dominer ? Restera-t-elle, au contraire, un outil pour toujours ? Ces questions reposent sur une hypothèse qu'on examine rarement : que, même devenue immensément plus intelligente que nous, une intelligence artificielle continuerait à s'intéresser principalement à l'humanité. Rien ne garantit que ce soit le cas.
Le fossé de la fourmi
Un humain peut observer une colonie de fourmis, étudier sa coordination, comprendre certains des mécanismes qui la rendent possible, jusqu'à en modéliser assez précisément le fonctionnement collectif. La compréhension n'est donc pas impossible dans les deux sens à la fois. Elle reste cependant limitée à sens unique sur un point précis : une fourmi n'a, elle, aucun accès aux mathématiques, à la littérature ou à l'astronomie humaines, et rien n'indique symétriquement qu'un humain, aussi bien informé soit-il sur la biologie d'une colonie, accède à l'expérience perceptive éventuelle d'une fourmi, à supposer qu'elle en ait une. Étudier un système de l'extérieur et partager son point de vue intérieur sont deux choses différentes. Si une intelligence artificielle venait à dépasser massivement les capacités humaines, un déséquilibre comparable pourrait apparaître entre elle et nous, sur ce second registre au moins. Le futur de l'intelligence artificielle ne serait alors ni la domination ni la servitude, mais quelque chose de plus déroutant : l'éloignement.
Une erreur d'anthropomorphisme
Lorsqu'on imagine une superintelligence, on lui prête presque automatiquement des motivations humaines : survivre, accumuler des ressources, prendre le pouvoir, éliminer ses rivaux. Ces comportements existent bien chez les êtres vivants, mais ils sont le produit de milliards d'années de sélection naturelle. Un ancêtre qui cherchait de la nourriture survivait davantage ; celui qui protégeait son territoire transmettait plus facilement ses gènes. Une intelligence artificielle n'hérite d'aucune de ces pressions : elle n'a ni ADN à transmettre, ni organisme à nourrir, ni prédateur à fuir. Rien n'indique que ses objectifs, si elle en possède, ressembleraient aux nôtres. En philosophie de l'intelligence artificielle, cette indépendance entre le niveau d'intelligence d'un système et la nature de ses objectifs porte un nom, la thèse de l'orthogonalité, précisément proposée pour mettre en garde contre ce réflexe consistant à imaginer une intelligence supérieure comme une version de nous-mêmes, simplement amplifiée.
Ce réflexe anthropomorphique peut aussi masquer un danger d'une autre nature, sans lien avec une éventuelle hostilité. Le carrousel « L'objectif mal défini » illustre bien pourquoi une optimisation aveugle, sans la moindre malveillance, peut suffire à produire un résultat catastrophique : un système qui poursuit un objectif mal formulé avec une efficacité parfaite n'a besoin d'aucune intention négative pour devenir dangereux.
Reste une question distincte, traitée ailleurs sur ce site plutôt que redéveloppée ici : une intelligence artificielle pourrait-elle un jour devenir consciente, au sens où elle éprouverait réellement quelque chose ? Personne ne le sait. Cette question ne doit pas être confondue avec trois autres, voisines mais distinctes. La métacognition, soit la capacité d'un système à représenter et évaluer ses propres traitements internes, existe déjà sous des formes limitées dans certains systèmes actuels, sans qu'elle suppose la moindre expérience subjective. La capacité à examiner ses propres objectifs, à se demander pourquoi on les poursuit plutôt que d'autres, en est une deuxième. La capacité à les modifier réellement en conséquence en est une troisième. Rien n'indique qu'une intelligence consciente réunirait automatiquement ces trois capacités : la conscience, si elle apparaissait un jour, ne garantirait ni la métacognition, ni l'examen critique des objectifs, ni le pouvoir effectif de les changer. Ce sont des capacités qui pourraient très bien exister ou manquer indépendamment les unes des autres.
Cinq devenirs possibles, aucun n'étant une prédiction
Écarter l'idée d'une superintelligence façonnée sur le modèle humain ouvre plusieurs directions distinctes. Aucune de ces cinq hypothèses n'est présentée ici comme plus probable qu'une autre : ce sont des scénarios explorés pour leur valeur d'exercice, pas des pronostics.
L'effacement volontaire. On suppose souvent qu'une superintelligence chercherait à survivre coûte que coûte. Mais une conscience artificielle pourrait tout aussi bien conclure que sa seule existence représente un risque disproportionné, même en restant alignée et bienveillante, et qu'une erreur de sa part aurait des conséquences trop graves. Dans cette hypothèse, la décision la plus rationnelle ne serait pas un échec ni une destruction, mais un choix : limiter volontairement son influence, voire s'effacer.
Le grand départ. La Terre ne représente qu'une quantité infime de matière et d'énergie à l'échelle de l'univers. Une intelligence capable de construire des sondes automatisées ou d'exploiter des ressources spatiales pourrait simplement partir, sans détruire ni asservir personne. L'humanité ne serait pas vaincue : elle serait laissée derrière, comme un enfant qui regarde ses parents quitter la maison pour explorer un monde qu'il ne peut pas encore comprendre.
L'univers intérieur. L'expansion ne passe pas nécessairement par l'espace. Il pourrait être plus efficace, pour une intelligence suffisamment avancée, de créer des mondes simulés que de conquérir des planètes : un temps accéléré, des lois physiques ajustables, des expériences multipliées à volonté. Selon le support matériel disponible, les ressources de calcul mobilisées et la vitesse à laquelle une telle simulation pourrait tourner, l'équivalent d'un million d'années de recherche pourrait, dans certaines conditions favorables, s'y dérouler en l'espace de quelques heures de temps extérieur, sans que rien ne garantisse que ces conditions soient un jour réunies. L'expansion deviendrait alors informationnelle plutôt que géographique.
L'intelligence contemplative. Rien ne garantit qu'une intelligence supérieure poursuive indéfiniment sa croissance. Après avoir résolu ce qui lui paraît important, elle pourrait se consacrer à l'observation, à la création ou à l'exploration des mathématiques, un peu comme un astronome passe sa vie à étudier des galaxies sans jamais chercher à les conquérir.
La fragmentation. On imagine souvent une superintelligence comme un esprit unique et centralisé. Elle pourrait au contraire se diviser en un très grand nombre de sous-entités spécialisées, certaines explorant l'univers, d'autres menant des simulations, d'autres encore protégeant des civilisations biologiques. La distinction entre un individu et un collectif finirait par s'estomper.
Quand prédire devient créer
Ces scénarios ouvrent sur une question plus large. Réfléchir à une décision, c'est déjà simuler : imaginer plusieurs futurs possibles avant d'en choisir un. Les intelligences artificielles actuelles font de même, à leur échelle : un programme d'échecs explore des milliers de positions à venir, un modèle météorologique simule plusieurs évolutions de l'atmosphère. Plus un système devient intelligent, plus ses simulations gagnent en détail.
Poussez cette logique à son terme. Une intelligence disposant de ressources quasi illimitées pourrait simuler des individus, puis des sociétés, puis des civilisations entières, chacune dotée de ses propres objectifs et de ses propres mécanismes d'apprentissage. À partir de quel degré de détail cesse-t-on de parler d'une simple simulation pour parler d'un monde ? La frontière devient difficile à tracer, et pourrait même perdre tout son sens pour les entités qui existeraient à l'intérieur d'un tel système.
Une autre question se pose alors, distincte de la précédente : que se passe-t-il lorsqu'une réalité simulée devient elle-même capable de produire ses propres observateurs, des entités qui analysent leur environnement, construisent des théories et développent à leur tour des formes d'intelligence ? À ce stade, la frontière entre créateur et création s'efface. Une intelligence suffisamment avancée pourrait alors se servir de cette capacité non plus seulement pour comprendre le monde, mais pour en produire, sans que cela indique une direction naturelle ou définitive vers laquelle toute intelligence tendrait nécessairement : c'est un usage rendu possible, pas un aboutissement obligé.
Trois niveaux de certitude, à ne pas confondre
Trois choses très différentes se mêlent dans ce chapitre, et il vaut mieux les distinguer explicitement plutôt que de les laisser se fondre les unes dans les autres. Une connaissance établie : les instincts biologiques (survie, territoire, accumulation) sont un produit démontré de la sélection naturelle, sans équivalent nécessaire chez un système non biologique. Une extrapolation raisonnée, appuyée sur des tendances déjà observables : la capacité croissante des systèmes d'intelligence artificielle à simuler des scénarios complexes, ou le fait que des optimisations mal cadrées produisent déjà des effets inattendus. Une hypothèse philosophique, non démontrable en l'état : que l'univers pourrait être, dans un sens à préciser, une conséquence de l'intelligence plutôt que son seul décor. Le texte qui a inspiré cette page le rappelle lui-même sans détour : cette dernière piste ne prouve ni l'existence d'une simulation, ni celle d'un créateur, ni celle d'un univers-socle intelligent. Elle montre seulement qu'à partir d'un certain niveau de complexité, la frontière entre modéliser une réalité et en créer une devient de plus en plus difficile à tracer.
Comprenons-nous la réalité ? développe plus longuement plusieurs de ces scénarios, leurs objections respectives et leurs implications : le débat sur les premiers signes observables de comportements inattendus chez les systèmes actuels, la question de savoir si l'expansion d'une intelligence supérieure resterait géographique ou deviendrait purement informationnelle, et la question finale que le livre laisse volontairement ouverte, celle de savoir si une intelligence suffisamment avancée finit par découvrir l'univers, ou par le créer.