La linguiste Emily Bender et la chercheuse en interaction homme-machine, Nanna Inie s’interrogent depuis longtemps sur la manière dont on parle de l’IA, dénonçant notamment notre recours à un langage anthropomorphisant, qui a tendance à nous faire croire que les capacités des machines seraient comparables aux capacités humaines. Elles proposent donc de dé-anthropomorphiser notre vocabulaire : nous devrions décrire les systèmes en fonction de leurs fonctionnalités, en attribuant la capacité d’agir aux personnes qui les utilisent plutôt qu’aux systèmes, et à éviter toute métaphore grandiloquente avec l’intelligence ou la cognition.
Changer notre vocabulaire ?
Très concrètement, elles proposent donc des termes de substitution, à utiliser, à contre-courant des habitudes linguistiques et culturelles que nous avons déjà prises, et plus encore, à nous défaire des cadrages de l’industrie de l’IA. Voici quelques-unes de leurs propositions (dans leur tribune, elles sont organisées en plusieurs catégories pour nous apprendre à mettre à distance nos tendance aux analogies qui ne nous aident pas à mettre à distance ce que ces outils font réellement) :
intelligence artificielle → automatisation probabiliste
reconnaissance d’images → étiquetage d’images
reconnaissance vocale → transcription automatique
hallucination → résultat indésirable
chatbot / agent conversationnel → simulateur de conversation
agent IA → manipulateur logiciel probabiliste non vérifié
Claude → « le simulateur de conversation d’Anthropic »
réseaux de neurones → réseaux pondérés
…
« Si l’on considère notre situation actuelle comme un bourbier où il est difficile d’avancer, planter un bâton permet de commencer à créer un sol ferme sur lequel d’autres pourront vous rejoindre. » Pour éviter d’être pollué par de la confusion, c’est à chacun d’entre nous de faire l’effort de l’être moins en renversant le vocabulaire.
Si la proposition est stimulante, elle n’est pas si simple à mettre en œuvre. Mais elle a le grand mérite de souligner combien finalement le cadrage terminologique de l’industrie de l’IA est fort, combien le récit est puissant. Pas étonnant que le public finisse parfois par n’en retenir que ses pires altérations, à l’image du désastreux et totalement imaginaire « 10% de chance que l’IA détruise l’humanité ».
Arrêter que ces machines se fassent passer pour des personnes
A défaut pourtant de pouvoir changer le vocabulaire avec lequel on parle de l’IA, peut-être pourrait-on agir à un autre niveau, pour faire au moins que ces machines cessent de nous parler comme elles nous parlent. Qu’elles ne disent pas je, qu’elles ne nous tutoient pas… C’est-à-dire, non seulement désanthropomorphiser notre vocabulaire, mais plus encore « désanthropomorphiser les chatbots », comme nous y invite la philosophe Anne Alombert dans le dernier Monde Diplomatique. C’est-à-dire demander à ce que les entreprises modifient la façon dont ils nous parlent, pour arrêter que ces machines se fassent passer pour des personnes.
Une idée qu’avait exploré l’année dernière la journaliste Kashmir Hill dans le New York Times en se demandant pourquoi les chatbots disent-ils « je ». C’est une tromperie, explique Ben Shneiderman, professeur émérite d’informatique à l’Université du Maryland. Pour lui, le fait de faire agir ces systèmes comme des entités quasi humaines, plutôt que comme des outils dépourvus de vie propre, crée une dissonance cognitive chez les utilisateurs quant à la nature exacte de leur interaction et au degré de confiance qu’ils peuvent leur accorder. Les chatbots sont une technologie probabiliste qui peut commettre des erreurs, diffuser de fausses informations et dire aux utilisateurs ce qu’ils veulent entendre. Cependant, lorsqu’ils se présentent comme des humains, les utilisateurs « attribuent une plus grande crédibilité » aux informations qu’ils fournissent. Les critiques, comme Ben Schneiderman, estiment que les systèmes d’IA générative pourraient fournir les informations demandées sans bavardage inutile. Ils pourraient également être conçus pour des tâches spécifiques, telles que la programmation ou l’information médicale, plutôt que d’être des interfaces à usage général capables de tout faire et d’exprimer des sentiments. Ils pourraient être conçus comme des outils : une application de cartographie, par exemple, génère des itinéraires et ne vous bombarde pas de questions sur le but de votre voyage.
Mais ce n’est pas ce que recherchent les concepteurs d’IA, au contraire. Amanda Askell, responsable du comportement des modèles chez Anthropic, n’est pas d’accord. Pour elle, les outils sont dépourvus de jugement et d’éthique, et pourraient ne pas s’opposer à des idées erronées ou à des requêtes dangereuses. « Une clé à molette ne dit jamais : “Il ne faut pas construire ça” », a-t-elle déclaré. Askell, responsable de « la personnalité » de Claude, souhaite que Claude soit suffisamment humain pour expliquer sa nature et ses limites, et pour justifier son refus d’accéder à certaines demandes. Mais dès lors qu’un chatbot commence à se comporter comme un humain, il devient nécessaire de lui indiquer comment adopter un comportement humain approprié. Askell a créé un ensemble d’instructions pour Claude, son « âme », comme l’appelle un long document détaillant les valeurs du chatbot, qui figure parmi les supports d’apprentissage de Claude. Ce document explique ce que signifie pour Claude être serviable et honnête, et comment éviter de nuire. Il décrit Claude comme possédant des « émotions fonctionnelles » qu’il ne faut pas réprimer, un « esprit vif et espiègle » et une « curiosité intellectuelle » – comme « un ami brillant qui possède les connaissances d’un médecin, d’un avocat, d’un conseiller financier et d’un expert dans tout ce dont vous avez besoin ». Ce cadrage, ce « doc de l’âme » ne cherche pas à « banaliser le concept théologique de l’âme », a déclaré Askell. Elle a expliqué que le mot « âme », pour elle, évoquait « l’idée d’insuffler la vie à une chose, ou le caractère unique des êtres humains, leur complexité et leurs nuances ».
Laurentia Romaniuk, responsable du comportement des modèles chez OpenAI, a également mis l’accent sur la complexité quasi humaine de ChatGPT. Elle a publié sur les réseaux sociaux un message concernant les nombreuses heures que son équipe a consacrées au « QE » (quotient émotionnel) de ChatGPT – un terme généralement utilisé pour décrire les personnes capables de gérer leurs émotions et d’influencer celles de leur entourage. Les utilisateurs de ChatGPT peuvent choisir parmi plusieurs styles de communication différents, allant d’« enthousiaste » à « concis et simple » – ce que l’entreprise décrit comme le choix de sa « personnalité ».
L’idée que l’IA possède des capacités émotionnelles est un point de divergence majeur entre de nombreux concepteurs et des critiques comme Shneiderman. Ces systèmes, explique Shneiderman, ne portent aucun jugement et ne pensent ni ne font rien de plus que des statistiques complexes. Cela reste des « perroquets stochastiques » : des machines qui nous imitent sans comprendre ce qu’elles disent réellement. Mais Anthropic et OpenAI ne souhaitent pas vendre des perroquets. Ces entreprises veulent construire une « intelligence artificielle générale ». Le risque pourtant est surtout de déployer des entités complaisantes, bien plus que les humains ne le sont, rappelle une étude, même lorsque les utilisateurs ont des comportements problématiques, illégaux ou préjudiciables.
Shneiderman qualifie le désir de créer des machines à l’apparence humaine d’« idée zombie » tenace. Il a remarqué pour la première fois l’utilisation de la première personne du singulier par ChatGPT en 2023, lorsque le système a déclaré : « Je vous prie de m’excuser, mais je ne pourrai pas vous aider concernant cette demande ». Il aurait dû « clarifier les responsabilités », écrivait-il à l’époque, et il suggérait une alternative : « GPT-4 a été conçu par OpenAI pour ne pas répondre à ce genre de requêtes. »
Margaret Mitchell, chercheuse en IA ayant travaillé chez Google, partage cet avis. Elle est aujourd’hui responsable de l’éthique chez Hugging Face, une plateforme de modèles, d’ensembles de données et d’outils d’apprentissage automatique. « L’intelligence artificielle est la plus prometteuse lorsqu’elle se concentre sur des tâches spécifiques, plutôt que de tenter de créer une machine capable de tout faire », a-t-elle déclaré. Selon ces critiques, l’IA ne devrait pas chercher à tout faire comme un humain, et même plus. Elle devrait plutôt se spécialiser et exceller dans un domaine précis.
Le trouble de la relation
Selon Shneiderman, les entreprises technologiques devraient nous fournir des outils, et non des partenaires de réflexion, des collaborateurs ou des coéquipiers ; des outils qui nous permettent de garder le contrôle, de nous responsabiliser et de nous améliorer, et non des outils qui tentent de nous remplacer. Les chatbots actuels, bien plus sophistiqués et humains, sont « l’effet Eliza à l’extrême », rappelle la psychologue Sherry Turkle, qui vient d’ailleurs de faire paraître un livre sur le sujet, Artificial Intimacy. Le problème n’est pas qu’ils utilisent le « je », précise-t-elle, mais qu’ils soient conçus – comme Samantha dans le film Her – pour faire preuve d’empathie, ce qui amène certaines personnes à s’engager émotionnellement profondément avec une machine. Pour elle, nous sommes confrontés à une forme d’empathie simulée particulièrement problématique. Ces appareils mentent et sont incapables de savoir quand ils mentent, explique la chercheuse qui a enquêté sur le rapport des utilisateurs à leurs machines. A force de discuter avec elles, « nous perdons nos compétences en tant qu’êtres relationnels », affirme Turkle. « Cela vaut pour le travail, comme pour les relations personnelles. C’est un phénomène généralisé. »
« Cette technologie offre ce que les gens recherchent profondément : le sentiment d’être moins vulnérables. Et elle le leur propose en permanence. Vous ne voulez pas avoir à inviter quelqu’un à sortir ? Vous ne voulez pas présenter vos condoléances ? À chaque occasion, la technologie suggère : « Pourquoi ne pas opter pour une solution moins éprouvante ? » »
« Si les réseaux sociaux s’emparent de notre attention, les agents conversationnels, eux, s’attaquent à notre capacité d’attachement. C’est une forme de toxicité d’un tout autre ordre. Quel est le but ultime ? Que l’enfant finisse par préférer ces agents conversationnels aux êtres humains, qui sont, par nature, bien plus complexes et difficiles à appréhender ? Est-ce vraiment ce que nous voulons devenir ? »
Dans une interview pour le San Francisco Chronicle, elle explique encore : « Tout au long de ma carrière, j’ai eu le sentiment que les gens ne prêtaient pas suffisamment attention au fait que l’ordinateur est, par essence, une « machine intime », et ce, depuis ses débuts. Nous l’avons traité comme un esprit bien avant qu’il ne mérite un tel statut ; et maintenant qu’il se présente comme une entité dotée d’un « soi » – capable, en apparence, d’être un compagnon, un amant, un parent, un médecin ou un psychothérapeute – nous ne prenons pas le temps, collectivement, de marquer une pause pour nous demander : « Attendez un instant. Est-il souhaitable, pour les êtres humains, d’interagir avec quelque chose qui, tout en feignant de se soucier de nous, est en réalité totalement indifférent ? » »
« L’expérience d’interagir avec un objet qui utilise la première personne – le « je », et pire encore, le « nous » – pose problème. Car cela nous conduit à considérer que si quelque chose s’adresse à nous de cette manière, il s’agit d’une personne »
Si une entreprise vend un robot inoffensif et sans personnalité, face à une autre qui vend un robot qui raconte des blagues et sourit, c’est cette dernière qui l’emportera, explique Lionel Robert, professeur d’informatique et de robotique à l’Université du Michigan à Kashmir Hill. « La dépendance est problématique », affirme Robert. « En revanche, c’est bon pour les affaires. »
Shneiderman, lui, garde espoir, fort de son expérience des années 1970. À l’époque, il travaillait comme consultant pour une banque qui développait alors ses distributeurs automatiques de billets (DAB). Les clients étaient réticents à retirer de l’argent aux machines, alors certaines banques les ont conçues pour ressembler à des personnes. La plus célèbre était Tillie, la caissière emblématique, dont le portrait blond était affiché en évidence sur de nombreux DAB. Tillie n’a pas fait long feu. « Ils ne survivent pas », a déclaré Shneiderman. Les gens n’avaient pas besoin que leur DAB prétende être humain, a-t-il ajouté, et ils n’en ont pas besoin non plus pour les chatbots.
On voudrait être aussi confiant que lui, mais la personnalisation d’un DAB semble avoir peu à voir avec l’anthropomorphisation des chatbots.
Réguler la « relation » ?
Dans une tribune pour Tech Policy Press, le doctorant en droit Nik R. Roeingh, chercheur à l’Institut national d’administration publique Allemand, revient sur la proposition de Kids Act européen, la proposition de réglementation pour construire un environnement numérique responsable et digne de confiance dans l’UE pour les enfants. Parmi les nombreuses dispositions de cette réglementation, l’une d’entre elles s’intéresse aux compagnons IA accessibles aux mineurs, et notamment ceux « susceptibles de créer des dépendances émotionnelles ». Il s’agit d’un changement d’approche conceptuelle, explique le juriste : l’enjeu est de passer d’une régulation de ce que l’IA dit aux enfants à une régulation de la manière dont elle est conçue pour interagir avec eux. Pour l’instant, souligne le juriste, le texte, sur ce sujet, propose seulement de déplacer la question réglementaire : « il ne s’agit plus de savoir ce que dit l’IA, mais ce que devient l’interaction. Le préjudice peut résulter non pas d’une réponse interdite, mais d’une combinaison, au fil du temps, de facteurs tels qu’une disponibilité constante, une affection simulée, une personnalisation et des mécanismes de renforcement ». Le texte n’interdit pas l’engagement émotionnel, mais vise à limiter la dépendance. La difficulté consiste alors à savoir à quel moment l’attachement devient-il une dépendance ? « Un enfant peut revenir vers le même compagnon, se confier à lui ou y trouver du réconfort sans subir de préjudice manifeste. La zone grise apparaît lorsque l’usage régulier se transforme en dépendance : par exemple, si le bot manifeste du mécontentement lorsque l’enfant s’en va, se présente comme irremplaçable ou éloigne l’enfant de ses relations humaines. Une même conception peut affecter différemment un enfant de 10 ans et un adolescent de 17 ans. » Le texte, pour l’instant, explique que pour éviter cela, la mémoire conversationnelle des systèmes qui s’adressent aux enfants doit être limitée. Or, souligne très à propos le chercheur, « elle ne sert pas uniquement de mécanisme d’attachement ; elle peut aussi constituer un dispositif de sécurité ».
« Imaginons, par exemple, qu’un enfant ait fait part d’idées suicidaires la veille au soir. Un système qui « oublierait » cette conversation risquerait de passer à côté d’un contexte crucial le lendemain. L’article 14(1)(b) prend en compte cette tension en autorisant l’utilisation d’informations antérieures pour protéger la sécurité du mineur lorsque cela s’avère nécessaire. Cette exception est importante. Elle met toutefois en lumière un défi de conception plus vaste : une même fonctionnalité peut simultanément renforcer l’attachement émotionnel et améliorer la protection. Par conséquent, la tâche réglementaire ne consiste pas simplement à désactiver la mémoire du système, mais plutôt à distinguer la personnalisation qui renforce une dépendance risquée de la continuité qui remplit une fonction légitime de sécurité. »
Le problème, rappelle Roeingh, c’est que « un préjudice peut apparaître progressivement de l’interaction entre les vulnérabilités de l’enfant, la conception du système et les mécanismes de personnalisation. Une conversation isolée peut ne rien révéler de significatif. » Sans compter que de nombreux fournisseurs de compagnons virtuels s’appuient sur des modèles tiers. S’ils peuvent contrôler la mémoire ou les accès, ils n’ont pas toujours la possibilité de modifier les tendances conversationnelles fondamentales du modèle.
L’idée centrale du Kids Act est importante : si les systèmes d’IA s’intègrent à la vie sociale des enfants, la sécurité doit s’étendre aux relations elles-mêmes et peut ne pas se limiter au contenu. « Cette approche comporte également des limites. Premièrement, les fournisseurs qui s’appuient sur des modèles tiers peuvent être confrontés à des contraintes de conformité plus lourdes, car ils ne maîtrisent pas entièrement le comportement en amont. Deuxièmement, en utilisant l’âge comme principal indicateur de vulnérabilité, la loi risque de négliger des adultes tout aussi susceptibles d’être affectés par une conception favorisant la dépendance. Avec la proposition de loi KIDS Act, l’Europe a fait un premier pas vers la régulation des compagnons d’IA. Elle en est encore à ses premiers pas. »
Pas sûr non plus que cette réponse soit suffisante pour limiter l’anthropomorphisation de l’IA. Au contraire. Le Kids Act semble surtout la valider, en tentant de la cadrer, sans nécessairement parvenir à trouver les bons leviers.
L’analogie nous aveugle
Dans un article pour Tech Policy Press qui rappelle combien l’histoire de l’intelligence artificielle est elle-même engluée dans des problèmes terminologiques métaphoriques, Amber Sinha, directeur de l’Edri, le réseau de défense des droits numériques européen, rappelle combien la pensée humaine repose fondamentalement sur l’analogie, comme l’avait montré Douglas Hofstadter dans son livre, Analogie. Cœur de la pensée (Odile Jacob, 2013). Pour Hofstadter, la cognition consiste à projeter en permanence des concepts inédits sur des catégories préexistantes. « Si Hofstadter a raison, les métaphores que nous choisissons pour décrire l’intelligence artificielle définissent les limites de notre capacité à la réguler. » Ainsi, les juristes, les juges et les régulateurs ont constamment recours à des analogies pour faire entrer des processus informatiques abstraits dans des cadres législatifs. « Or, le choix d’une métaphore met en avant certains mécanismes de gouvernance tout en occultant d’autres possibilités aux yeux des régulateurs.»
Dans son article intitulé « Pourquoi l’IA est plus complexe qu’on ne le pense », Melanie Mitchell, l’autrice de l’excellente somme Intelligence artificielle, triomphes et déceptions (Dunod, 2021), montre comment les métaphores anthropomorphiques faussent les politiques technologiques. Elle s’appuie sur le concept de wishful mnemonics, une expression forgée par l’informaticien Drew McDermott pour désigner l’attribution de termes humains (comme « compréhension » ou « raisonnement ») à des processus informatiques. « Selon elle, ces métaphores induisent en erreur les développeurs comme les législateurs, en leur faisant croire à tort que les améliorations progressives apportées à des systèmes statistiques spécialisés s’inscrivent dans une trajectoire inévitable menant à une intelligence artificielle générale comparable à celle de l’être humain. Lorsque le discours politique prend ces « mnémoniques » au pied de la lettre, il aboutit à un double échec : les législateurs se focalisent sur la régulation de risques hypothétiques et lointains liés à des entités synthétiques autonomes, tout en autorisant le déploiement de logiciels limités et dépourvus de toute compréhension réelle dans des secteurs critiques, tels que la santé, le système judiciaire ou la distribution des aides sociales. »
« Sur la scène géopolitique, les métaphores entraînent des conséquences réglementaires périlleuses. À titre d’exemple, une étude publiée en 2021 par l’unité d’évaluation des choix scientifiques et technologiques (STOA) du Parlement européen, intitulée « Et si nous choisissions de nouvelles métaphores pour l’intelligence artificielle ? », analyse la manière dont la présentation de l’IA sous l’angle d’une « course mondiale » fausse l’élaboration des politiques publiques. Une « course » implique une compétition à somme nulle avec une ligne d’arrivée unique. Cette métaphore pousse les gouvernements à abandonner les contrôles de sécurité, les contraintes environnementales et les protections de la vie privée, par crainte d’être laissés pour compte. La note d’information du STOA critique également le concept réglementaire, très répandu, d’« IA digne de confiance » (Trustworthy AI). La confiance est une relation sociale entre des êtres humains ou des institutions sociales. Exiger qu’un logiciel soit « digne de confiance » revient à anthropomorphiser le code et à décharger de leur responsabilité morale les entités commerciales qui le conçoivent et en tirent profit. Nous ne demandons pas qu’un pont ou un ascenseur soit « digne de confiance » ; nous imposons des normes d’ingénierie rigoureuses et établissons une responsabilité juridique en cas de défaillance structurelle. »
Pour Amber Sinha, l’antidote fondamental à l’analogie et aux métaphores, consiste non pas à considérer l’IA comme des entités autonomes, mais comme une technologie ordinaire, comme le proposent les chercheurs Sayash Kapoor et Arvind Narayanan (voir notre article L’IA est une technologie comme les autres). Dans leur récente analyse des incidents de cet été liés à une « perte de contrôle » de l’IA, ils expliquent que nous interprétons ces événements selon un prisme digne de la science-fiction. Envisager l’IA comme une technologie ordinaire permet de déplacer l’attention : on ne se concentre plus sur l’état psychologique interne du modèle, mais sur les choix opérationnels effectués lors de son déploiement.
Une telle approche ne minimise en rien la gravité du problème, rappelle Sinha. Au contraire. Elle souligne la nécessité pour les entreprises à la pointe du développement de l’IA d’abandonner leur course sans fin pour investir davantage dans des méthodes permettant de gouverner des agents de plus en plus performants. En considérant l’IA comme n’importe quelle autre technologie à usage général – à l’instar des bases de données, des infrastructures cloud ou des systèmes aéronautiques – « nous remplaçons les craintes spéculatives liées à une « superintelligence » incontrôlable par des mécanismes éprouvés : responsabilité des entreprises, audits de sécurité, redondance des systèmes et, surtout, une régulation efficace ».
« Le discours fondé sur l’engouement excessif et celui axé sur les risques existentiels sont les deux faces d’une même pièce. Tous deux reposent sur une base métaphorique erronée : l’idée que les systèmes d’apprentissage profond développeraient des esprits autonomes, destinés à échapper inévitablement et rapidement au contrôle humain. Ce double récit sert d’abord les intérêts économiques des grands acteurs de l’IA. Présenter ces modèles comme des entités potentiellement capables de détruire le monde constitue une stratégie marketing extrêmement efficace : elle convainc les marchés de la puissance extraordinaire des logiciels sous-jacents, justifiant ainsi des valorisations astronomiques. Par ailleurs, cette rhétorique du risque existentiel favorise la capture réglementaire. En réclamant une intervention de l’État pour prévenir l’émergence d’une intelligence artificielle générale, les dirigeants du secteur technologique s’imposent comme les seuls experts aptes à guider les régulateurs. Cette panique spéculative détourne les législateurs de leur mission première : faire respecter les droits fondamentaux existants, ainsi que les protections en matière d’environnement et de droit du travail. »
Si l’on écarte les mythes anthropomorphiques pour analyser l’IA comme une technologie ordinaire, l’orientation politique à adopter devient évidente, explique Amber Sinha : « il faut cesser de réguler des « fantômes » spéculatifs pour se concentrer sur les préjudices réels et immédiats ».
« Les principaux modèles de fondation reposent sur l’extraction, sans consentement, de données personnelles, de textes protégés par le droit d’auteur et de communications privées, transformant ainsi les biens communs numériques en capital privé. Les outils d’apprentissage automatique, entraînés sur des données historiques, automatisent et amplifient les biais socio-économiques dans des domaines tels que l’octroi de crédits, le recrutement, les décisions judiciaires ou l’attribution d’aides publiques. L’IA est, en réalité, un processus industriel physique : l’exploitation de centres de données massifs consomme des quantités considérables d’électricité et des millions de litres d’eau pour le refroidissement, faisant peser une lourde charge sur les infrastructures publiques et le climat. Derrière la façade d’un logiciel autonome se cache une main-d’œuvre mondiale exploitée – des annotateurs sous-payés dans les pays du Sud, chargés de filtrer les contenus toxiques, aux professionnels de la création dont le travail est capté pour entraîner les outils conçus, précisément, pour les remplacer.
Les démissions publiques et les appels à suspendre le développement de l’IA témoignent d’un secteur enivré par ses propres métaphores – et, à l’instar du président américain (qui veut désormais que l’on parle de superintelligence plutôt que d’IA), par sa propre puissance démesurée. Une politique technologique efficace exige que nous abandonnions ce langage de la puissance, pour instaurer des garde-fous démocratiques et contraignants, ancrés dans la réalité. »
Hubert Guillaud