Intelligence ou conscience ? Ce que l'on confond quand on parle d'IA

Demandez à un assistant conversationnel s'il ressent quelque chose. Il répond que non, qu'il n'éprouve pas d'émotions au sens humain. La réponse paraît prudente. Elle n'est pourtant pas une introspection vérifiable : le système produit une réponse à partir de régularités apprises pendant son entraînement, et cette réponse ne permet pas de déterminer s'il décrit une expérience interne. Elle ne tranche donc pas la question de la conscience ; elle reflète surtout la façon dont le système a été entraîné et configuré à se présenter.

Cette incertitude ne vient pas d'un manque de recul sur le sujet. Elle vient du fait qu'on confond, la plupart du temps, quatre choses distinctes : l'intelligence, le traitement de l'information, la compréhension et la conscience.

Quatre mots pour une seule confusion

Le glissement se fait presque sans qu'on s'en rende compte. On dit d'un système qu'il est intelligent, et on suppose aussitôt qu'il comprend ce qu'il fait. On le voit produire une phrase qui sonne empathique, et on en déduit qu'il ressent quelque chose. Chacun de ces pas mérite d'être examiné à part.

L'intelligence : résoudre des problèmes

L'intelligence n'est pas une chose unique : c'est un ensemble de capacités qui, combinées, permettent de qualifier un système d'intelligent, sans qu'aucune, prise isolément, ne suffise à le définir. Réagir à un stimulus, s'ajuster à un environnement qui change, anticiper ce qui va se produire, raisonner sur son propre raisonnement, ou faire émerger un comportement collectif à partir de nombreux agents simples (une colonie de fourmis en est l'exemple le plus cité) y participent, à des degrés différents.

Un thermostat aide à situer la limite basse de cet ensemble. Il compare une température mesurée à une consigne, et déclenche une action en conséquence : il réagit donc à un stimulus, l'une des capacités associées à l'intelligence. Exercée seule, de façon rigide et sans apprentissage, cette capacité ne suffit pas à le qualifier d'intelligent. Il traite une information, régule un système, mais n'apprend rien, ne s'ajuste à aucune situation nouvelle et n'anticipe rien. La régulation automatique, le traitement de l'information et l'intelligence ne sont donc pas synonymes non plus. Un système d'intelligence artificielle actuel, capable d'apprendre et de généraliser à partir de situations inédites, se situe nettement au-delà de ce seuil. Rien, dans cette capacité à résoudre, n'exige cependant une expérience vécue.

Traiter l'information n'est pas forcément comprendre

Les grands modèles de langage apprennent des régularités statistiques dans d'immenses volumes de texte, et construisent, ce faisant, des représentations internes complexes des relations entre concepts. Cela ne suffit pourtant pas à trancher si ces systèmes comprennent, au sens où l'on comprend d'ordinaire.

Le philosophe John Searle a proposé, dans les années 1980, une expérience de pensée pour interroger cette question. Une personne enfermée dans une pièce, ne parlant pas un mot de chinois, reçoit des questions écrites en chinois glissées sous la porte. Munie d'un manuel de règles très détaillé, elle produit des réponses correctes, elles aussi en chinois, sans jamais savoir ce qu'elle écrit. De l'extérieur, la pièce répond parfaitement. À l'intérieur, personne ne comprend rien.

Cette expérience n'est pas une description technique du fonctionnement des modèles actuels : elle décrit un programme figé, suivant des règles fixes, ce qui correspond mal à des systèmes capables d'apprentissage. Elle reste utile pour poser la distinction entre manipuler correctement des symboles et saisir ce qu'ils désignent. Le débat sur ce que prouve exactement l'expérience continue d'ailleurs : certains objectent qu'il faudrait juger le système dans son ensemble (la personne, le manuel, la pièce), plutôt que la personne isolée.

Comprendre, un mot qu'on emploie trop vite

Que faudrait-il, au-delà de la manipulation correcte de symboles, pour parler de compréhension ? Sans doute la capacité à réutiliser une notion dans une situation totalement inédite, à détecter ses propres erreurs, à construire un modèle qui explique plutôt qu'il ne se contente de prédire. Nous savons évaluer, de façon opérationnelle, certaines de ces capacités : le transfert à une situation nouvelle ou la correction d'une erreur se testent. Ce qui reste difficile à établir, c'est la compréhension au sens fort, et son éventuel rapport avec une expérience subjective. Nous ne savons pas non plus définir de seuil universel à partir duquel cette compréhension apparaîtrait.

Ce que recouvre le mot « conscience »

Le terme « conscience » lui-même désigne plusieurs choses qu'il vaut mieux distinguer. L'éveil correspond au niveau général de vigilance : on est éveillé, endormi, ou quelque part entre les deux. L'accès conscient à une information désigne la possibilité de la rapporter ou de l'utiliser volontairement, par opposition à une information traitée sans qu'on en fasse quoi que ce soit consciemment. La conscience phénoménale, enfin, renvoie au fait qu'une perception, une douleur ou une émotion soit effectivement éprouvée, et non seulement enregistrée quelque part dans un système.

Ces trois aspects ne fonctionnent probablement pas comme un simple interrupteur commun. Le sommeil, la sédation ou les différents états d'altération de la conscience montrent que certaines de ces dimensions, l'éveil en particulier, varient de façon progressive plutôt que par tout ou rien. Cette gradation observable ne résout cependant pas le problème le plus difficile : elle décrit des degrés de vigilance ou de rapport, pas l'existence même d'une expérience vécue.

Le problème le plus difficile

Le philosophe David Chalmers a formulé, en 1995, ce qu'il a appelé le problème difficile de la conscience. On peut décrire avec une précision croissante comment un cerveau, ou une machine, traite l'information. Cela n'explique pas pourquoi il existe, en plus de ce traitement, une expérience vécue : pourquoi voir du rouge ou ressentir une douleur produit quelque chose, plutôt que ce traitement se déroulant simplement sans personne pour l'éprouver.

Dans les expériences dites de cécité attentionnelle, des personnes concentrées sur un comptage de passes au basket ne remarquent pas une personne déguisée en gorille traverser l'écran sous leurs yeux. Ce que le cerveau fait exactement de cette information non rapportée reste débattu : certains y voient un traitement préconscient qui n'atteint pas le seuil du rapport volontaire. L'épisode montre qu'un système peut traiter une information sans qu'elle accède à ce qu'on rapporterait comme conscient, sans que cela tranche la question de l'expérience vécue.

Comment on attribue une conscience à quelqu'un d'autre

Ma propre expérience m'est directement accessible. Celle d'autrui ne l'est jamais : je n'ai aucun moyen d'observer, de l'intérieur, ce que ressent un autre être. Face à un autre humain, on s'appuie donc sur un faisceau d'indices convergents : ce qu'il déclare, son comportement, sa capacité à rapporter une expérience passée, une organisation cérébrale comparable à la nôtre, une histoire biologique commune. Dire « je suis conscient » compte parmi ces indices, sans en constituer à lui seul la preuve.

Le rapport verbal a ses propres limites. Il suppose de l'attention, de la mémoire, une bonne compréhension de ce qu'on demande, et la capacité à communiquer sa réponse. Un nourrisson qui ne parle pas encore, ou une personne qui a perdu l'usage de la parole, ne devient pas inconscient pour autant : c'est le canal de rapport qui fait défaut, ce qui ne dit rien de l'expérience elle-même.

Pour les animaux, privés de langage articulé, on raisonne par analogie : comportement, capacité d'apprentissage, réactions à la douleur, système nerveux comparable, continuité évolutive avec notre propre espèce. Là encore, la seule appartenance au vivant ne suffit pas à démontrer une expérience vécue ; elle rend l'hypothèse plausible, sans la garantir.

Une intelligence artificielle vient perturber cette méthode, construite pour des êtres biologiques : elle peut reproduire le langage et une partie des comportements que l'on associe d'ordinaire à la conscience, sans rien partager de notre biologie. Deux erreurs symétriques guettent alors : lui prêter une conscience parce qu'elle nous imite avec justesse, ou la lui refuser d'emblée parce que son substrat n'est pas organique. Aucune de ces deux positions n'est aujourd'hui démontrée. Ce qui reste ouvert, ce n'est pas l'importance de la biologie en général, mais la question de savoir si elle est indispensable à l'apparition d'une expérience vécue, ou si une organisation fonctionnelle différente pourrait suffire.

Pourquoi on se laisse convaincre

Ce réflexe d'attribution ne s'éteint pas facilement. Un système entraîné sur d'immenses quantités de texte humain reproduit la forme d'une réponse émotionnelle, parce qu'il a appris à produire des phrases qui en ont l'apparence, et cette forme suffit à déclencher les mêmes réflexes sociaux qui nous font attribuer un esprit à quiconque nous parle avec aisance. Un comportement sophistiqué peut s'expliquer sans intériorité.

Ce qu'on ne peut pas encore trancher

Intelligence, traitement de l'information, compréhension et conscience forment quatre dimensions conceptuellement distinctes, dont les relations exactes restent débattues. Une performance élevée dans l'une de ces dimensions ne suffit pas à établir automatiquement la présence des autres. Affirmer qu'une intelligence artificielle actuelle est consciente irait au-delà de ce que l'on sait. Affirmer qu'elle ne le sera jamais irait tout autant au-delà.

La prochaine fois qu'on vous dira qu'une IA comprend ou ressent, la question utile n'est pas de croire ou de rejeter l'affirmation en bloc, mais de demander : de laquelle de ces quatre choses parle-t-on, au juste ?

Comprenons-nous la réalité ? reprend cette question et va plus loin qu'une page Web ne le peut : les théories concurrentes de la conscience, les expériences de pensée qui les mettent à l'épreuve, les degrés cliniques de conscience étudiés en médecine, et les implications morales d'un système potentiellement conscient.