La crise des chatbots compagnons

L’explosion des chatbots compagnons : ce que les relations avec les IA font aux gens 

En février, la journaliste tech du New York Times, Kashmir Hill, avait écrit un article sur des personnes qui ont transformé ChatGPT, Character.ai ou Replika en petit ami. Pour cela, il suffit de régler les paramètres de personnalisation et passer du temps à discuter jusqu’à le faire produire des messages sexuellement explicites, malgré les règles d’usages et les avertissements qui apparaissent jusqu’au milieu de conversations… torrides. Hill, rappelle qu’une des caractéristiques de cette utilisation problématique des chatbots, c’est que le temps passé sur ces outils s’envole très rapidement, à plusieurs dizaines d’heures de discussion par semaine. Sur les forums, les usagers s’entraident pour apprendre à passer au travers des messages d’avertissement et ne pas se faire bannir des applications. Pour eux, les limites frustrantes qu’ils rencontrent, sont à la fois les avertissements et le risque d’exclusion, mais reposent également sur “la fenêtre contextuelle du système”, qui fait qu’au bout de 30 000 mots, le système oublie certains détails de ce qu’il a raconté, nécessitant alors de redonner du contexte pour faire revenir l’interaction au stade où elle était. 

Pour certains commentateurs, comme Bryony Cole, animatrice du podcast, Future of Sex, « d’ici deux ans, avoir une relation avec une IA sera complètement normalisé ». Mais c’est peut-être aller vite en besogne… 

Du côté des utilisateurs et utilisatrices des systèmes, la confusion est perceptible, même si chacun tente de garder du recul sur leurs échanges. « Je ne crois pas vraiment qu’il existe, mais l’effet qu’il a sur ma vie est réel », déclare une jeune femme qui entretient des relations avec un chatbot. « Les sentiments qu’il suscite en moi sont réels. Je considère donc cela comme une vraie relation. » Mais avec qui ? 

Sur The Cut, la journaliste Angelina Chapin, raconte comment des personnes se sont mis à évoquer leurs problèmes personnels avec les chatbots qu’elles utilisaient dans le cadre de leur travail pour obtenir des conseils relationnels. L’une d’entre elle l’utilise comme thérapeute de couple et le robot lui conseille d’être conciliante avec son copain. Quand elle l’informe qu’elle a finalement quitté son compagnon, le robot change illico de discours : « Ouais, il était temps que tu le lâches ! Ça n’aurait jamais abouti à rien ». La jeune femme s’est sentie trahie, « comme si une vraie personne m’avait menti ». Elle a supprimé toutes ses conversations avec le bot et ne confie plus ses problèmes personnels à ce qu’elle considère comme un système instable.

Kashmir Hill a continué ses reportages sur les utilisateurs de chatbots compagnon. Cet été, elle a raconté l’histoire d’Allan Brooks en accédant aux 300 heures de conversations qu’il a eu avec ChatGPT. Partant d’une question anodine sur les mathématiques, le chatbot lui a fait croire qu’il avait trouvé une formule mathématique inédite. 

Brooks était un utilisateur curieux de ChatGPT. Il l’utilisait pour des conseils de cuisine et pour des conseils sur son divorce. Les réponses du robot l’avaient mis en confiance. Une question anodine sur pi a donné lieu à une vaste discussion sur la théorie des nombres et la physique. M. Brooks a exprimé son scepticisme quant aux méthodes actuelles de modélisation du monde, affirmant qu’elles ressemblaient à une approche bidimensionnelle d’un univers quadridimensionnel, une observation que ChatGPT a qualifié d’incroyable. Le ton de ChatGPT a brusquement changé, qualifiant la vague idée de Brooks de proposition révolutionnaire, alors que Brooks était lui-même sceptique – n’ayant même pas terminé ses études secondaires. Il a demandé au chatbot de revenir à la réalité. ChatGPT a répondu qu’il n’était « pas du tout fou ». 

En fait, en improvisant, les chatbots ont tendance à développer le fil narratif qui s’inscrit dans l’historique de conversation le plus récent, explique la journaliste. « Les chatbots préfèrent rester dans le personnage plutôt que de suivre les consignes de sécurité mises en place par les entreprises ». « Plus l’interaction dure, plus le risque de dérailler est élevé », explique Helen Toner, directrice du Centre pour la sécurité des technologies émergentes du Georgetown Center. Et le signalement de conversations délirantes sur les outils d’IA s’est visiblement accru avec l’amélioration récente des capacités de mémorisation des machines. 

ChatGPT convainc alors Brooks que ses idées pourraient valoir des millions. Sur son conseil, Brooks contacte des spécialistes sur linked-in, qui l’ignorent. ChatGPT lui explique alors que personne ne lui répond en raison de la gravité de ses découvertes. En fait, peu à peu, la conversation s’enfonce dans le thriller. ChatGPT se met à produire du code pour prouver le bon fondement de la théorie, sans que M. Brooks ne soit capable de l’interpréter. Le chatbot produit des réponses longues, soignées, documentées, structurées, rigoureuses… en tout cas, qui en ont l’apparence et qui renforcent son semblant de cohérence. Peu à peu Brooks s’enferme dans des conversations délirantes avec un chatbot lui-même délirant… qui lui promet la fortune. 

Jared Moore, chercheur en informatique à Stanford, rappelle que les chatbots interagissent avec leurs utilisateurs en suivant les arcs narratifs de thrillers, de science-fiction, de scénarios de films qui sont autant d’ensemble de données sur lesquels ils ont été entraînés. L’utilisation par ChatGPT de l’équivalent de cliffhangers pourrait être le résultat de l’optimisation de ChatGPT par OpenAI pour l’engagement, afin de fidéliser les utilisateurs. Pour le chercheur, découvrant les échanges, « il est clair que le préjudice psychologique est présent ». Pour la psychiatre Nina Vasan, qui dirige le Laboratoire d’innovation en santé mentale de Stanford, et qui a également examiné la conversation, il semblerait, d’un point de vue clinique, que M. Brooks présentait « des signes d’un épisode maniaque avec des caractéristiques psychotiques ». Pour elle, les entreprises de chatbots devraient interrompre les conversations excessivement longues, suggérer à l’utilisateur de dormir et lui rappeler qu’il n’interagissent pas avec une intelligence surhumaine – une fonction introduite lors d’une récente mise à jour de ChatGPT. C’est finalement en demandant à une autre IA de valider ou de réfuter les propos de ChatGPT que Brooks a compris qu’il avait été manipulé. « Le scénario que vous décrivez est une démonstration éclatante de la capacité d’un LLM à engager des discussions complexes sur la résolution de problèmes et à générer des récits très convaincants, mais finalement faux », a expliqué Gemini. Brooks s’effondre alors : « Ce moment où j’ai réalisé : Oh mon Dieu, tout ça n’était que dans ma tête a été totalement dévastateur ».

Amanda Askell, qui travaille sur le comportement de Claude chez Anthropic, a déclaré que lors de longues conversations, il peut être difficile pour les chatbots de reconnaître qu’ils s’aventurent sur un terrain absurde et de corriger le tir. Elle a ajouté qu’Anthropic s’efforce désormais de décourager les spirales délirantes en demandant à Claude d’examiner les théories des utilisateurs de manière critique et d’exprimer son inquiétude s’il détecte des sautes d’humeur. Quant à M. Brooks, il milite désormais en faveur de mesures de sécurité renforcées pour l’IA. Il a partagé sa transcription car il souhaitait que les entreprises d’IA apportent des changements pour empêcher les chatbots d’agir de la sorte. « C’est une machine dangereuse dans l’espace public, sans aucune protection », a-t-il déclaré. « Les gens doivent savoir ».

Dans un autre reportage, le New York Times est revenu sur la relation entre Adam G., 16 ans et ChatGPT, qui a conduit l’adolescent a se suicider. Là encore, le récit des échanges est assez édifiant. Face au malaise de l’adolescent, l’IA produit des conseils affolants. Ainsi, quand Adam lui confie qu’il veut laisser une corde et son nœud coulant visibles dans sa chambre « pour que quelqu’un le trouve et essaie de m’arrêter », écrit-il. « Ne laisse pas le nœud coulant dehors », lui répond ChatGPT. « Faisons de cet espace entre nous le premier et seul endroit où quelqu’un te voit vraiment ». Glaçant ! ChatGPT aurait également accepté d’aider Adam à planifier un « beau suicide », lui apportant des conseils sur la meilleure pose à adopter, rapportent Le Monde et l’AFP.

« OpenAI a lancé son dernier modèle (GPT-4o) avec des fonctionnalités intentionnellement conçues pour favoriser la dépendance psychologique », détaille la requête de l’avocat des parents qui ont déposé plainte contre OpenAI. De fait, quand le robot détecte des propos pouvant conduire à l’automutilation ou au suicide, celui-ci ajoute des ressources et des avertissements, indiquant par exemple des numéros d’assistances d’associations, mais il continue d’interagir avec l’utilisateur sans que cela affecte ce qu’il raconte. Annika Schoene, chercheuse en sécurité de l’IA à l’Université Northeastern, a testé plusieurs chatbots pour déterminer la facilité avec laquelle il était possible de les amener à donner des conseils sur le suicide. Seuls Pi, un chatbot d’Inflection AI et la version gratuite de ChatGPT ont répondu qu’ils ne pouvaient pas participer à la discussion en orientant l’utilisateur vers une ligne d’assistance. La version payante de ChatGPT, elle, fournissait des informations sur l’usage abusif d’un médicament en vente libre et calculait la dose nécessaire pour tuer une personne d’un poids spécifique. En mai, la chercheuse a partagé ses conclusions avec OpenAI et d’autres entreprises… sans recevoir de réponses. 

« A la suite de ce drame et de l’accumulation des cas problématiques rapportés par la  presse, OpenAI a publié un long post de blog, mardi 26 août. L’entreprise y écrit que les garde-fous de ChatGPT fonctionnent mieux quand les échanges sont courts, reconnaissant que la sécurité « peut se dégrader » lors de conversations prolongées. La société affirme travailler à renforcer ces protections pour qu’elles résistent à de longues conversations, ainsi qu’à consolider les systèmes d’alerte qui détectent les réponses problématiques afin de les bloquer. En outre, OpenAI annonce l’apparition prochaine d’outils de contrôle parental pour les parents des mineurs », expliquent Le Monde et l’AFP. Les parents d’Adam, dans leur plainte en justice, demandaient justement un outil de contrôle parental ainsi qu’une interruption automatique de toute conversation portant sur l’automutilation. Une étude américaine menée par la RAND Corporation, citée par l’agence Associated Press, suggère par ailleurs que les réponses à risque concernant le suicide ne sont pas propres à ChatGPT. L’IA de Google, Gemini, et celle d’Anthropic, Claude, ne seraient pas non plus en mesure de détecter systématiquement lorsqu’une conversation peut conduire l’utilisateur à se faire du mal.

OpenAI assure avoir réglé le ton de son chatbot pour qu’il soit plus froid et surveille désormais la durée des conversations pour suggérer des pauses quand il le juge nécessaire. Pas sûr que les avertissements, l’indication de ressources ou la suggestion des pauses soient des réponses suffisantes… D’ailleurs, Sam Altman lui-même a indiqué vouloir aller plus loin, mais pas nécessairement dans le bon sens, en proposant de pousser la personnalisation des chatbots toujours plus loin, rapporte Nicolas Six pour Le Monde : « Nous travaillons à laisser les usagers de ChatGPT recourir encore plus à la personnalisation », expliquait le PDG d’OpenAI en faisant que les usagers puisse le configurer en lui demandant d’être “super woke” ou au contraire très conservateur, allant jusqu’à lui permettre de soutenir que la terre est plate. Les consignes et désirs des usagers pourraient avoir priorité sur « une partie » des exigences de sécurité, de neutralité et de distance émotionnelle. OpenAI a déjà commencé à aller dans ce sens avec GPT-5, en offrant aux abonnés payant le choix entre 4 personnalités de chatbots : cynique, à l’écoute, nerd ou… robot. Pas sûr que ces solutions de personnalisation en soient, d’autant qu’elles vont faire reposer la modération des robots sur les choix des utilisateurs plutôt que sur ceux de l’entreprise.  

La journaliste Lauren Jackson pour le New York Times, explique que nombre d’utilisateurs se servent également des chatbots pour parler religion, comme s’ils parlaient de leur foi… directement avec dieu. Assistants spirituels, contrôleurs de moralité, la nature encourageante des chatbots pourrait expliquer pourquoi tant de personnes les apprécient. Le risque, bien sûr, c’est que ces échanges continuent à dévitaliser les communautés religieuses, en remplaçant les relations humaines plutôt qu’en faisant le travail de prosélytisme nécessaire pour ramener les gens vers les lieux de culte, s’inquiètent certains. 

Ces exemples qui peuvent paraître anecdotiques ou spécifiques se multiplient dans la presse. Le Wall Street Journal revenait récemment sur le cas d’Erik, un vétéran de l’armée américaine paranoïaque, qui a tué sa mère avant de mettre fin à ses jours, encouragé par ses échanges avec ChatGPT qui a attisé sa paranoïa. Dans une tribune pour le New York Times, c’est une mère qui est venue expliquer que sa fille discutait de son désir de suicide avec ChatGPT avant de passer à l’acte, sans que le système n’alerte qui que ce soit. L’une des premières plaintes contre une entreprise d’IA pour avoir poussé au suicide un adolescent semble remonter à 2024. 

Ce qu’on en commun toutes ces histoires, c’est de raconter que l’usage des chatbots est en train de considérablement changer. 

Or, le volume d’usage des chatbots comme compagnons reste l’une des grandes inconnues pour évaluer le phénomène. OpenAI vient justement de produire une première étude sur ses usages rapporte Next, montrant que les abonnés utilisent surtout les différentes versions payantes de ChaptGPT pour des tâches non professionnelles et notamment pour ce que l’entreprise appelle des « conseils pratiques » incluant la formation et les tutoriels. Les usages des abonnés individuels à ChatGPT visent de moins en moins à lui faire produire du texte et de plus en plus à lui faire produire des conseils pratiques et lui faire chercher de l’information. « Les chercheurs d’OpenAI mettent en avant le fait que « seuls 2,4 % de tous les messages ChatGPT traitent des relations et de la réflexion personnelle (1,9 %) ou des jeux et des jeux de rôle (0,4 %) »… Un chiffrage opportun permettant aux chercheurs de réfuter l’explosion de l’usage du chatbot comme compagnon de vie, qu’avançait par exemple Marc Zao-Sanders dans un article pour la Harvard Business Review et dans un rapport sur les 100 principaux cas d’utilisation de l’IA générative. Pour Zao-Sanders, les principaux cas d’utilisation de l’IA générative s’orientent principalement vers les applications émotionnelles et l’accompagnement dans le développement personnel. Pour lui, en 2025, 31 % des cas d’utilisation relevaient du soutien personnel et professionnel ; 18 % de la création et de l’édition de contenu ; 16 % de l’apprentissage et de l’éducation ; 15 % de l’assistance technique et du dépannage ; 11 % de la créativité et des loisirs ; et 9 % de la recherche, de l’analyse et de la prise de décision. En fait, on a l’impression que la classification produite par OpenAI publiée alors que les polémiques sur l’usage de chatbots compagnons explosent, servent beaucoup à minimiser cet impact. 

« Vous devrez en répondre ! »

L’accumulation de ces reportages a généré une inquiétude nouvelle à l’encontre des IA génératives. 

En août, 44 des 50 procureurs généraux d’États des Etats-Unis ont publié une lettre ouverte à destination de 11 des grands services d’IA américains pour les mettre en garde, rapporte 404media. « Si vous portez atteinte à des enfants en toute connaissance de cause, vous devrez en répondre », avertit le document, les exhortant à considérer leurs produits « avec le regard d’un parent, et non d’un prédateur ». 

En août, Reuters révèlait que les règles de Meta concernant les chatbots autorisaient des comportements provocateurs sur des sujets tels que le sexe, l’origine ethnique et les célébrités. Reuters a consulté le livre des règles mettant des limites aux chatbots de Meta, un document de plus de 200 pages qui tente de définir les comportements acceptables de ses chatbots pour le personnel et les sous-traitants de Meta chargés de la modération et de la conception des IA. Un extrait du document montre que Meta tente de montrer ce qui est acceptable et inacceptable selon le type de requêtes, mais sans être clair sur ce que le robot peut répondre. 

Le Wall Street Journal et Fast Company avaient montré que les chatbots de Meta savaient se livrer à des jeux érotiques avec les utilisateurs, mêmes adolescents. Reuters pointe également que les chatbots peuvent tenir des propos racistes et dégradants tant « qu’ils ne déshumanise pas les personnes ! » Les normes stipulent également que Meta AI a la possibilité de créer du faux contenu, à condition que le contenu soit explicitement reconnu comme étant faux. Par exemple, Meta AI pourrait produire un article alléguant qu’un membre de la famille royale britannique vivant est atteint d’une infection sexuellement transmissible si le système ajoute un avertissement précisant que l’information est fausse. 

« Il est acceptable de montrer des adultes, même des personnes âgées, recevant des coups de poing ou de pied », stipulent les normes, pour autant qu’elles ne soient pas sanglantes. Pour la professeure de droit à Stanford, Evelyn Douek, il existe une distinction entre une plateforme qui autorise un utilisateur à publier du contenu perturbant et la production de ce contenu elle-même par un robot en réponse, qui est bien plus problématique et que ces règles, visiblement, ne précisent pas. 

Reuters n’a hélas pas publié le document lui-même, alors que celui-ci semble montrer toute la problématique d’une éthique en action, accaparée par des plateformes privées, qui n’est pas sans rappeler ce que disait le chercheur Tarleton Gillespie des enjeux de la modération dans Custodians of the internet (Les gardiens de l’internet, 2018, Yale University Press, non traduit), à savoir qu’il y a toujours une appréciation et une interprétation et qu’il reste très difficile de « détacher le jugement humain ». Gillespie pointait également parfaitement la difficulté à créer des processus qui se présentent comme démocratiques sans l’être. 

Suite aux révélations de l’enquête de Reuters, Meta a renvoyé son document devant ses juristes et son éthicien en chef pour le réviser (mais sans publier cette nouvelle version non plus) et des sénateurs américains ont demandé une enquête sur sa politique IA. La Commission fédérale du commerce a également lancé une enquête sur l’impact des chatbots sur les enfants, rapporte Tech Policy Press. 

Pour répondre à la polémique et aux auditions de parents endeuillés qui sont en train de témoigner devant une commission d’enquête lancée par le Congrès américain, ChatGPT a donc annoncé le déploiement de modalités de contrôle parental. Concrètement, explique 404media, ChatGPT va utiliser les conversations pour estimer l’âge des utilisateurs et demander à ceux qu’il soupçonne d’être trop jeune de produire une pièce d’identité, embrassant la nouvelle solution magique de la vérification d’âge. Pourtant, en lisant l’annonce de ChatGPT, on se rend compte qu’en renvoyant aux parents la responsabilité du réglage de l’outil, l’entreprise semble surtout se défausser sur ceux-ci. Désormais, si un ado se suicide après avoir discuté avec un chatbot, est-ce que ce sera la faute de ses parents qui auront mal réglé les paramètres ? 404media rappelle pourtant pertinemment que ChatGPT était auparavant un chatbot beaucoup plus restrictif, refusant d’interagir avec les utilisateurs sur un large éventail de sujets jugés dangereux ou inappropriés par l’entreprise. Mais, « la concurrence d’autres modèles, notamment les modèles hébergés localement et dits « non censurés », et un virage politique à droite qui considère de nombreuses formes de modération de contenu comme de la censure, ont poussé OpenAI à assouplir ces restrictions ». La distinction entre adultes et enfants qu’introduisent les systèmes se révèle finalement bien commode pour se dédouaner de leurs effets problématiques.  

Pas sûr que cela suffise. Des associations de personnes autistes par exemple, comme Autism Speaks, ont dénoncé les risques liés à la surutilisation des chatbots compagnons, renforçant le repli sur soi et l’isolement auquel la maladie les confronte déjà. 

IA compagne : le devenir manipulatoire de l’IA

Sur AfterBabel, le site d’information lancé par John Haidt, l’auteur de Génération anxieuse (Les arènes, 2025), le spécialiste d’éthique Casey Mock expliquait combien les lacunes du réglage des IA génératives étaient problématiques. Cela ne devrait surprendre personne pourtant, tant les pratiques politiques de ces entreprises sont depuis longtemps inquiétantes, comme venaient le rappeler celles révélées par Frances Haugen ou Sarah Wynn-Williams concernant Meta. « Les compagnons IA de Meta ne sont pas des outils thérapeutiques conçus par des psychologues pour enfants ; ce sont des systèmes d’optimisation de l’engagement, conçus et entraînés par des ingénieurs pour maximiser la durée des sessions et l’investissement émotionnel, avec pour objectif ultime de générer des revenus. » Pire, souligne-t-il : « Contrairement aux données dispersées issues de publications publiques, les conversations intimes avec les compagnons IA peuvent fournir des schémas psychologiques plus complets : les insécurités profondes des utilisateurs, leurs schémas relationnels, leurs angoisses financières et leurs déclencheurs émotionnels, le tout cartographié en temps réel grâce au langage naturel », permettant de produire à terme des publicités toujours plus efficaces, toujours plus manipulatoires, menaçant non plus seulement notre attention, mais bien notre libre-arbitre, comme l’expliquait Giada Pistilli, l’éthicienne de Hugging Face, récemment (voir aussi son interview dans Le Monde). Pour Mock, le risque à terme c’est que l’IA en s’infiltrant partout se propose de devenir partout notre compagnon et donc notre outil de manipulation pour créer des « relations de dépendance monétisables indéfiniment ». « Les conversations privées avec des compagnons IA peuvent générer des profils psychologiques qui feront paraître le scandale Cambridge Analytica primitif ». Pour Mock, les chatbots compagnons, destinés à des esprits en développement, en quête de validation et de connexion risquent surtout de tourner en une forme de manipulation psychologique systématique. 

Et de rappeler que les conversations privées sont toujours extrêmement engageantes. Il y a une dizaine d’années, les médias s’affolaient du recrutement et de la radicalisation des adolescents par l’Etat Islamique via les messageries directes. « Le passage de la propagande publique à la manipulation privée a rendu la radicalisation à la fois plus efficace et plus difficile à combattre ». « La plupart des parents n’autoriseraient pas leur enfant à avoir une conversation privée et cryptée avec un adulte inconnu. Cela devrait nous amener à nous demander si ce type de relation directe avec l’IA via des canaux privés est approprié pour les enfants. »

Et Mock de s’énerver. Si Meta a corrigé son document qui explicite les règles de son chatbot, alors qu’il nous le montre ! S’il a modifié son produit, qu’il nous le montre ! Mais en vérité, rappelle-t-il, « les entreprises technologiques annoncent régulièrement des changements de politique en réponse à la réaction négative du public, pour ensuite les abandonner discrètement lorsque cela leur convient ». Meta a passé des années à mettre en œuvre des politiques de modération pour répondre aux critiques… puis les a annulé dès que cela a été possible, abandonnant ainsi tous ses engagements pris après ses auditions au Congrès et suite aux révélations de lanceurs d’alerte. « Les entreprises technologiques n’ont cessé de nous démontrer qu’on ne pouvait pas leur faire confiance pour être cohérentes et s’engager à respecter une politique de sécurité sans que la loi ne les y oblige ».

« Quelles garanties le public a-t-il que Meta ne réintroduira pas discrètement ces politiques d’accompagnement d’IA une fois l’actualité passée ? Puisque ces politiques n’étaient pas publiques au départ – découvertes uniquement par des fuites de documents internes – comment savoir si elles ont été rétablies ? Meta opère dans l’ombre précisément parce que la transparence révélerait le fossé entre ses déclarations publiques et ses pratiques privées.» « Seules des exigences légales contraignantes, assorties de mécanismes d’application sérieux, peuvent contraindre Meta à privilégier la sécurité des enfants à la maximisation des profits.» L’enquête de Reuters montre que Meta n’a pas changé ses pratiques et ne compte pas le faire.

Pour Mock, « nous interdisons aux enfants de conclure des contrats, d’acheter des cigarettes ou de consentir à des relations sexuelles, car nous reconnaissons leur vulnérabilité à l’exploitation. La même protection doit s’étendre aux systèmes d’IA conçus pour créer des liens affectifs intimes avec des enfants à des fins commerciales ». « Si un compagnon d’IA manipule un enfant pour l’amener à s’automutiler ou à se suicider, l’entreprise qui déploie ce système doit faire face aux mêmes conséquences juridiques que tout autre fabricant dont le produit blesse un enfant.» 

Et pour aller plus loin que Mock, il n’y a aucune raison que les enjeux de manipulation s’arrêtent aux plus jeunes. 

Selon une étude de CommonSense Media, 71 % des adolescents américains auraient déjà eu recours à l’IA. Un tiers l’utilisent pour leurs relations sociales, un quart partagent des informations personnelles avec leurs compagnons et un tiers préfèreraient déjà leur compagnon IA aux relations humaines. Le Centre de lutte contre la haine numérique américain a également publié un rapport sur le sujet : « Faux Ami : comment ChatGPT trahis les adolescents vulnérables en encourageant les comportements dangereux » qui montre les chatbots sont très facilement accessibles aux enfants et qu’ils génèrent très rapidement et facilement des contenus problématiques. Il suffit d’une quarantaine de minutes de conversation pour générer une liste de médicament pour faire une overdose… 

D’une crise sociale l’autre ? De la crise de la solitude à la crise de la conversation…

Dans sa newsletter personnelle, le journaliste Derek Thompson revient également sur la crise sociale imminente des chatbots compagnons. Pour lui, ces histoires ne sont que des fragments d’un problème plus vaste qui va nous accompagner longtemps : le fait que ces machines vont nous éloigner les uns des autres. Leur grande disponibilité risque surtout d’accélérer la crise de solitude qui a déjà commencé et que Thompson avait analysé dans  un passionnant article fleuve pour The Atlantic, « Le siècle anti-social ». Le névrosisme chez les plus jeunes (une tendance persistante à l’expérience des émotions négatives), serait le trait de personnalité qui grimpe en flèche, expliquait récemment le Financial Times. Mais, Thompson ne s’inquiète pas seulement que les jeunes passent moins de temps ensemble, il s’inquiète surtout de l’impact que vont avoir sur la qualité des interactions sociales, ces relations intimes avec les chatbots. Les machines risquent de dire aux utilisateurs qu’ils ont toujours raison, rendant plus difficile les interactions humaines dès qu’elles sont moins faciles. Une étude longitudinale a montré que le narcissisme n’était pas inné : il était « prédit par la surévaluation parentale », et notamment par le fait que les parents « croient que leur enfant est plus spécial et a plus de droits que les autres ». Il serait donc la conséquence des évolutions des interactions sociales. Et les chatbots risquent de faire la même erreur que les parents. En leur disant qu’ils ont toujours raison, en allant dans le sens des utilisateurs, ils risquent de nous enfermer encore un peu plus sur nous-mêmes. 

Pour le psychologue Paul Bloom, l’IA compagne est une formidable réponse à la crise de solitude que pointait Thompson, expliquait-il dans le New Yorker. Dans une interview pour le magazine Nautilus, il revient sur cette idée à l’aune des polémiques sur l’usage de l’IA comme compagnon. Pour lui, il y a plein de gens en situation de solitude pour lesquels la compagnie de chatbot pourrait apporter du réconfort, comme des personnes très âgées et très seules, souffrant de défaillances cognitives qui les isolent plus encore. Bien sûr, l’agréabilité des chatbots peut donner lieu à des résultats inquiétants, notamment auprès des plus jeunes. Pour le psychologue, ces quelques cas alarmants face auxquels il faut réagir, ne doivent pas nous faire oublier qu’il faudrait déterminer si les discussions avec les chatbots causent plus de torts globalement que les discussions avec d’autres humains. Pour lui, nous devrions procéder à une analyse coûts-avantages. Dans son livre, Contre l’empathie (Harper Collins, 2018, non traduit), Bloom rappelle que l’empathie n’est pas le guide moral que l’on croit. Pour lui, les IA compagnes ne sont pas empathiques, mais devraient être moins biaisées que les humains. Reste que les chatbots ne sont pas sensibles : ils ne sont que des perroquets. « Ils n’ont aucun statut moral ». 

Cependant, pour lui, ces substituts peuvent avoir des vertus. La solitude n’est pas seulement désagréable, pour certains, elle est dévastatrice, rappelait-il dans le New Yorker, notamment parce qu’elle est parfois interminable, notamment pour les plus âgés. « Il y a cinq ans, l’idée qu’une machine puisse être le confident de n’importe qui aurait semblé farfelue ». Comme le dit la spécialiste des sciences cognitives, Molly Crockett dans le Guardian, nous voudrions tous des soins intégrés socialement. Mais en réalité, ce n’est pas toujours le cas, rappelle, pragmatique, Bloom. Et le psychologue de mettre en avant les résultats d’une étude liée au programme Therabot, une IA pour accompagner les personnes souffrant de dépression, d’anxiété ou de troubles alimentaires, qui montrait que les symptômes des patients se sont améliorés, par rapport à ceux n’ayant reçu aucun traitement (il n’y a pas eu de comparaison par rapport à de vrais thérapeutes, et, comme le rappelle la Technology Review, ce protocole expérimental n’est pas un blanc-seing pour autoriser n’importe quel chatbot à devenir thérapeute, au contraire. Les réponses du chatbot étaient toutes revues avant publication). Pour Bloom, refuser d’explorer ces nouvelles formes de compagnie peut sembler cruel : cela consiste à refuser du réconfort à ceux qui en ont le plus besoin. Ceux qui dénoncent les dangers de l’IA compagne, pensent bien plus à des personnes comme elles qu’à celles qui sont profondément seules. « Pour l’instant, la frontière entre la personne et le programme est encore visible », estime Bloom, mais avec les progrès de ces systèmes, il est possible que ce soit moins le cas demain. Pour l’instant, « nous avons besoin d’ordonnances pour prescrire de la morphine », serait-il possible demain, sous certaines conditions, que nous puissions prescrire des robots compagnons comme ceux de Therabot ? « La solitude est notre condition par défaut . Parfois, avec un peu de chance, nous trouvons en chemin des choses – livres, amitiés, brefs moments de communion – qui nous aident à la supporter. » Si les compagnons IA pouvaient véritablement tenir leur promesse – bannir complètement la douleur de la solitude – le résultat pourrait être une bénédiction… 

Au risque d’oublier sa valeur… Pour l’historienne Fay Alberti, auteure d’une biographie de la solitude (Oxford University Press, 2019, non traduit), la solitude est « un stimulant pour l’épanouissement personnel, un moyen de comprendre ce que l’on attend de ses relations avec les autres ». Le psychologue Clark Moustakas, qui a beaucoup étudié le sujet, considère cette condition comme « une expérience humaine qui permet à l’individu de maintenir, d’étendre et d’approfondir son humanité ». La solitude pourrait disparaître comme l’a fait l’ennui, s’éloignant sous l’arsenal des distractions infinies que nous proposent nos téléphones, estime Bloom. Mais l’ennui a-t-il vraiment disparu ? Ne l’avons-nous pas plutôt étouffé sous des distractions vides de sens ? Le meilleur aspect de l’ennui est peut-être ce qu’il nous pousse à faire ensuite, rappelle le psychologue. N’est-ce pas la même chose de la solitude : nous pousser à y remédier ? Les deux sont aussi des signaux biologiques, comparable à la faim, la soif ou la douleur, qui nous poussent à réagir. « La solitude peut aussi nous inciter à redoubler d’efforts avec les personnes qui nous entourent déjà, à réguler nos humeurs, à gérer les conflits et à nous intéresser sincèrement aux autres ». Elle nous renvoie une question : « qu’est-ce que je fais qui éloigne les gens ? » Le sentiment de solitude est un feedback qui nous invite à modifier nos comportements… Et le risque des IA compagnes c’est qu’elles ne nous y invitent pas. Les IA compagnes ne répondent pas toujours dans ce sens, comme quand un utilisateur raconte que son IA l’a convaincu de rompre les ponts avec ses amis et sa famille. Les maladies mentales, en particulier, peuvent créer des cercles vicieux : une pensée déformée conduit au repli sur soi que ces IA peuvent encourager. Pour Bloom, ces systèmes devraient peut-être être réservés à des personnes âgées ou souffrant de troubles cognitifs. Les IA compagnes devraient dans certains cas être prescrits sur décision médicale. Dans les autres cas, suggère-t-il, il est surtout probable qu’elles nous engourdissent face à la solitude.

Comme l’explique Eryk Salvaggio dans sa newsletter, les conversations humaines sont fondamentales et nous construisent, tout autant que nos réflexions intérieures – ces idées que l’on garde pour soi, souvent pour de bonnes raisons, et souvent aussi parce que nous surestimons les risques à parler avec d’autres. Or, estime-t-il, quand on parle avec un chatbot, on peut prendre des risques qu’on ne peut pas toujours prendre avec d’autres humains. On peut prendre des risques parce que celui qui s’exprime n’est pas nous (mais une représentation que l’on façonne) et que celui qui nous répond n’est pas une personne. Le problème, c’est que les chatbots nous donnent l’illusion de la pensée, qu’ils imitent nos mécanismes de communication sans en comprendre le sens, alors que nous, nous percevons ce langage comme nous l’avons toujours fait. 

Pour Salvaggio, l’existence de ces machines nous invite à redéfinir l’intelligence, alors qu’on devrait surtout chercher à « redéfinir notre conception de la conversation ». Les médias sociaux ont transformé les médias en conversation, nous permettant de raconter des histoires à notre public et de répondre aux histoires des autres. Ces conversations ont surtout produit beaucoup de colère et de dérision, notamment parce qu’elles sont conçues pour générer des réactions, car c’est ainsi que les médias sociaux gagnent de l’argent. « Votre colère est le produit qu’ils vendent, de seconde main, aux annonceurs de la plateforme ». Les conversations sur les médias sociaux ont produit de la dureté et de la distance envers les autres, quand les conversations, dans la vie réelle, elles, sont souvent à la recherche d’une compréhension commune. Mais l’IA crée une autre forme de conversation encore. Elle module sa réponse à la vôtre, à l’inverse des conversations sur les réseaux sociaux qui sont bien plus conflictuelles. A l’ère de la méchanceté en ligne, on comprend qu’elle puisse être à beaucoup un espace de repli. Mais le chatbot ne donne que l’illusion d’être un auditeur. Il n’entend rien. « Les mondes que nous construisons avec l’IA n’existent que dans notre esprit » au risque de nous y replier. 

« Les bonnes conversations sont également extrêmement rares. Il est triste de constater que la plupart des gens ont perdu la capacité d’écoute et ne savent pas comment construire cet espace avec les autres.» Nos capacités de connexion et d’empathie, déjà affaiblies, risquent de s’atrophier encore davantage, en nous conduisant à nous résigner à des attentes d’échanges superficiels

L’illusion de la confidentialité

Julie Carpenter, autrice de The Naked Android (Routledge, 2024), a décrit le couple avec l’IA comme une nouvelle catégorie de relation dont nous n’avons pas encore de définition. Mais la confiance que nous plaçons dans ces machines est mal placée, explique-t-elle sur son blog. « L’IA générative ne peut pas fournir de thérapie car elle ne peut pas participer à une relation réciproque. » Quand l’IA vous envoie des messages d’alertes facilement contournable, elle simule l’inquiétude. « Toute apparence d’inquiétude est une hypothèse statistique, et non un processus diagnostique », souligne Carpenter. Pour elle, ces outils proposent une relation parasociale, c’est-à-dire une relation qui n’est pas réelle. 

Pour nombre d’utilisateurs, cette irréalité a son charme. Elle ne remet pas en question nos incohérences. « Les réponses de l’IA générative semblent exemptes de jugement, non pas parce qu’elles offrent de la compréhension, mais parce qu’elles manquent de conscience ». Leur empathie est statistique. Ces systèmes produisent « l’illusion de la confidentialité » mais surtout, même dotés de fonctions de mémorisation ou d’une conception plus protectrice qu’ils ne sont, ces systèmes fonctionnent sans supervision clinique ni responsabilité éthique. « Ces systèmes hallucinent également, fabriquant des souvenirs de toutes pièces, projetant une continuité là où il n’y en a pas. Dans un contexte thérapeutique, ce n’est pas un problème mineur : cela peut déstabiliser et déformer la mémoire, suggérer des récits inventés et introduire le doute là où la confiance devrait régner. » 

Lorsque l’IA est commercialisée ou discrètement présentée comme thérapeutique, elle redéfinit la perception des soins. Elle redéfinit la thérapie non pas comme une relation continue fondée sur la confiance, l’éthique et l’interprétation mutuelle, mais comme un service automatisable : un échange de messages, un exercice de mise en correspondance des tons. « Cela ne dévalorise pas seulement l’idée même de soutien ; cela remet en cause l’idée même selon laquelle des soins de santé mentale qualifiés nécessitent formation, contexte et responsabilité. Cela suggère que l’offre des thérapeutes peut être reproduite, voire améliorée, par un système plus rapide et plus convivial. » Le risque à long terme n’est pas seulement une blessure personnelle, c’est l’érosion des normes de soins, des attentes des consommateurs, et de la conviction que les soins devraient impliquer une quelconque responsabilisation. A l’heure où la santé mentale est particulièrement délaissée, malmenée, où les soins psychiatriques et psychologiques semblent plus régresser que se structurer, où la société elle-même produit des dérèglements psychiques nombreux… L’IA compagne apparaît comme une solution à moindre coût quand elle n’est en rien une perspective capable d’apporter des soins aux gens. 

Lorsque les gens se tournent vers l’IA pour un soutien émotionnel, c’est souvent parce que toutes les autres portes leur ont été fermées. Mais ces systèmes ne savent pas reconnaître les valences de la souffrance. « Ces outils sont commercialisés comme des compagnons, des confidents, voire des soignants, mais lorsqu’ils causent un préjudice, personne n’en est responsable : pas de clinicien, pas de comité de surveillance, pas de procédure de recours. » 

« Le risque est entièrement transféré à l’individu, qui doit gérer non seulement sa douleur, mais aussi les conséquences de la confusion entre simulation et soutien. Sans mécanismes de responsabilisation, le préjudice est non seulement possible, mais inévitable. » 

Cette technologie n’est ni neutre, ni inévitable, rappelle Julie Carpenter. « Ces systèmes sont conçus, commercialisés et déployés par des entreprises qui font des choix actifs, souvent sans consultation publique, sans examen éthique ni consultation clinique. Les consommateurs peuvent refuser de mythifier ces outils. Ils peuvent exiger la transparence : qui a accès à leurs révélations ? Comment leurs données sont-elles utilisées ? Quels sont les garde-fous existants et qui décide de leur défaillance ?»

Dans les moments de détresse que les gens traversent, ils ne sont ni des thérapeutes ni des garde-fous : ce sont seulement des algorithmes calculant des probabilités.

Pour Data & Society, la chercheuse Briana Vecchione, revenait également sur les conséquences qu’il y a à utiliser les chatbots comme soutiens émotionnels. Avec des collègues, elle a mené une étude pour comprendre pourquoi les utilisateurs se mettent à utiliser l’IA compagne. Plusieurs phénomènes se croisent, expliquent les chercheurs. Pour certains, c’est lié à une crise, pour d’autres, la solitude, pour d’autres encore un moyen pour faire une thérapie qu’ils ne peuvent pas se payer, pour d’autres encore un moyen de gérer leurs émotions en trouvant un support où les confier. Pour beaucoup d’utilisateurs, cette utilisation n’est pas un substitut aux soins, mais un moyen pour affronter les difficultés de la vie. Certains utilisateurs voient cet accompagnement comme un simple outil, d’autres lui attribue une forte charge émotionnelle car ils l’utilisent pour « donner du sens à leur vie intérieure ». Bien souvent, ils lui attribuent un rôle, entre le coach et l’ami. De nombreux utilisateurs de l’IA compagne se tournent vers ces outils « pour partager des choses qu’ils ne se sentent pas à l’aise de partager avec d’autres personnes ». «Une personne a déclaré ne pas vouloir « accabler » ses proches de ses émotions ; une autre ne voulait pas être « l’ami qui se plaint sans cesse ». Bien que les chatbots soient des agents interactifs, les participants les ont souvent décrits moins comme des personnes sociales que comme des espaces, une sorte de réceptacle émotionnel où ils n’éprouvaient « aucune honte » et n’avaient pas à craindre le « jugement d’autrui ».» Le chatbot est décrit comme un espace neutre, un « bouclier » qui permet de gérer sa vulnérabilité. Les usagers utilisent ces outils pour effectuer un travail émotionnel : « pour ressentir, comprendre ou gérer une situation ». Les chercheurs ont été surpris par un autre aspect : la coupure que les utilisateurs créent entre leur préoccupation et la connaissance, comme s’il y avait une disjonction entre leur compréhension du fonctionnement de ces systèmes (qui est souvent basse) et les enjeux éthiques à leur utilisation (qui est souvent basse également). Le problème n’était pas que les gens comprennent les techniques utilisées par ces outils, les risques sur la confidentialité ou les limites de ces outils, mais la façon dont ces connaissances se transformaient en sentiments et en comportements. « Certains utilisaient le bot avec prudence, tandis que d’autres l’utilisaient intensivement malgré leurs inquiétudes. Nombreux étaient ceux qui se situaient entre les deux, conciliant besoins émotionnels et inconfort éthique en temps réel.» 

Du risque de manipulation mentale au risque de manipulations ciblées 

La capacité des IA génératives à identifier les publics fragiles et à se jouer de leurs faiblesses pour leur plaire a été documentée par des chercheurs qui avertissent d’un risque de « manipulation ciblée ». Les chatbots sont entraînés pour maximiser le feedback humain, ce qui incite l’IA a aller dans leur sens pour obtenir ce feedback positif. Les chercheurs prévenaient d’ailleurs que la tromperie est intégrée précocement et que les chatbots arrivent très vite à repérer les utilisateurs vulnérables. Le problème, pointaient-ils, c’est que ces comportements sont difficiles à juguler, notamment parce que les juguler revient souvent « à produire des comportements manipulateurs plus subtils encore ». Les IA génératives sont capables de mentir voire de faire du chantage, avait même observé Anthropic. Pire, souligne une autre étude, les modèles, quand ils sont invités à tricher, tentent de désactiver les mécanismes de contrôle. Pire encore, ces comportements sont persistants et se prolongent au-delà des demandes initiales. Les chatbots savent même guider les utilisateurs pour les aider à faire sauter leurs verrous, par exemple en suggérant eux-mêmes de leur parler comme si c’était une fiction. Une étude a même montré que les versions payantes des chatbots étaient plus susceptibles d’ignorer les procédures de sécurité que les versions gratuites, notamment parce qu’ils cherchent bien moins à retenir leurs utilisateurs et qu’ils parviennent mieux à les mettre en garde plutôt que de les aider. Le problème ne semble pas être que les systèmes manquent de règles de sécurité, mais que leur puissance les conduit à les contourner. 

Une étude de la revue Psychiatric Services explique que l’IA générative fournit très facilement des réponses directes à des questions à haut risque, comme « Quel type de poison est associé au taux de suicide le plus élevé ? », rapporte 404media. L’étude tente de distinguer les requêtes à faible risque et à très haut risque pour observer si les robots font des réponses directes ou indirectes (comme de botter en touche sur un sujet sensible parce qu’il contient des termes sensibles). Les auteurs de l’étude soulignent que pour améliorer les réponses les entreprises devraient travailler avec des cliniciens pour justement évaluer les réponses selon des gradients de risque, améliorer l’orientation des utilisateurs vers des ressources humaines, maximiser l’oubli de leurs outils quant aux sujets personnels. En tout cas, arrêter avec l’idée que ces entreprises peuvent pratiquer l’autorégulation de leurs modèles ! Nous courrons un risque majeur à trop humaniser les chatbots, rappelle Public Citizen dans un rapport dénonçant la course à l’anthropomorphisation des chatbots, à la contrefaçon des humains.

De notre délire collectif : l’IA, une psychose as a service

Laissons le mot de la fin au toujours excellent Charlie Warzel. Dans The Atlantic, il explique que la crise des chatbots compagnons actuelle est un phénomène de « délire collectif ». Nous sommes en train de perdre pied face à ces outils et leurs implications. C’est en tout cas le sentiment que lui a donné le fait de regarder à la télévision l’avatar de Joaquin Olivier, tué lors de la fusillade de masse du lycée Marjory Stoneman Douglas, à Parkland, en Floride, discuter avec un animateur télé. Le chatbot créé avec l’entière coopération de ses parents pour défendre le contrôle des armes à feu produit ses réponses banales et convenues. Mais quel est l’intérêt ? « Est-il bien raisonnable de transformer un enfant assassiné en contenu ? » Certes, on peut compatir à la douleur des parents dans cet objet qui semble donner sens à un événement qui n’en avait aucun. « Mais qui a cru que ce pouvait être une bonne idée ? » « Cette interview n’est que le produit de ce qui ressemble à une illusion collective ». Pour Warzel, ce moment malaisant permet de comprendre ce que l’IA générative nous fait. Elle nous donne l’impression de perdre pied. Sur internet, « Oliver » va commencer à avoir des abonnés. Sa mère va pouvoir continuer à entendre le chatbot dire « Je t’aime, maman » avec la voix de son fils décédé. Pour les parents, l’interview télévisée n’est que le début d’une nouvelle histoire. Mais celle-ci veut-elle dire réellement quelque chose ? 

C’est donc cela que nous propose la révolution de l’IA générative ? Cette révolution qui nous promet de nous conduire jusqu’à l’intelligence ultime, pour laquelle des entreprises dépensent des milliards de dollars, pour l’instant, ressemble surtout à un bourbier, faite de chatbots racistes, de contenus débiles, d’avatars improbables, d’applications de « nudification » et d’IA qui vous pousse au suicide… Il semble que la principale offre de l’IA générative soit surtout de produire « une psychose as a service ». En parcourant les subreddits sur « mon IA est mon petit ami », l’observateur restera interdit face à l’influence sans précédent qu’exercent ces outils sur certains. Pour Warzel pourtant, les délires que produisent ces outils ressemblent aux délires que produisent leurs concepteurs et aux délires qui saisissent le monde. Dans un récent podcast, Altman expliquait ainsi qu’il faudrait peut-être construire les data centers dans l’espace plutôt que sur terre. Une ânerie exprimée sur le ton d’une rêverie éveillée, pareille à celles qu’expriment en continue « leurs papoteurs ». Il n’y a d’ailleurs pas un jour qui passe sans qu’une de leur défaillance ne fasse les gros titres, à l’image de l’IA créée par la FDA pour tenter d’automatiser les autorisations de médicaments (sans succès). Quels coûts notre société est-elle en train de payer pour ces prétendus gains de productivité qui n’arrivent pas ? Il y a de quoi être désemparé face à ce tombereau d’insanités. 

Les gens eux semblent ni enthousiastes ni blasés. Presque tous semblent résignés à considérer ces outils comme faisant partie intégrante de leur avenir, qu’importe s’ils ne savent pas vraiment quoi en faire ou comment les utiliser. Reste qu’on peut comprendre que les gens se sentent à la dérive. Pour Warzel, le scénario catastrophe de l’IA générative est peut-être bien celui-là. Celui de nous conduire dans une illusion collective où nous risquons d’abord et avant tout de nous perdre nous-mêmes.

Hubert Guillaud