Les grands modèles de langage actuels sont conçus pour refuser d’obéir aux requêtes dangereuses. Mais ce refus de l’IA est loin d’être infaillible, explique le journaliste Arthur Holland Michel pour la Technology Review. Désormais, les modèles sont entraînés à rejeter un grand nombre de requêtes : « si vous posez à votre chatbot une question statistiquement proche de l’une des requêtes interdites – qu’il s’agisse d’empoisonner un collègue ou d’apprendre à nouer une corde de pendu -, il y a de fortes chances qu’il refuse de vous répondre ». Pour affiner cette capacité de « désobéissance », les entreprises soumettent leurs modèles à des séries d’exercices : l’IA est récompensée lorsqu’elle refuse de répondre à des questions jugées dangereuses et sanctionnée lorsqu’elle refuse « à l’excès » des requêtes jugées inoffensives. Mais ce mécanisme échoue souvent : « en pratique, comme les mécanismes de refus reposent sur des probabilités, ils ne seront jamais totalement fiables ». Tracer une frontière entre ce à quoi un modèle doit obéir et ce à quoi il doit désobéir, n’est dans les faits pas si simple : il n’existe aucune formule magique, et cet apprentissage se révèle bien faillible.
Plus l’IA deviendra performante pour refuser de nuire, plus elle sera efficace pour étouffer des idées
Pour l’instant, ce sont les entreprises d’IA qui fixent ces limites (voir par exemple, notre article Comment les IA sont-elles corrigées ? et celui sur le Red Teaming), mais les autorités de régulation tentent elles aussi de peser sur les limites à fixer. Le problème, c’est que ces limites peuvent également être adaptées à bien d’autres censures. « Plus l’IA deviendra performante pour refuser de nuire, plus elle sera efficace pour étouffer des idées dont le seul risque est de menacer ceux qui édictent les règles », comme de refuser de critiquer certaines personnes ou de parler de certains sujets. Reste que le refus, aussi probabiliste soit-il, est en passe de devenir le pilier central de la sécurité de l’IA, malgré toutes ses limites. « On ne garantira jamais la sécurité d’un système d’IA générative par des prompts », rappelait récemment le développeur canadien Graeme Fawcett. C’est pourtant exactement ce que la sécurité de l’IA envisage.
Chaque fois qu’un modèle rencontre une combinaison de mots rappelant les instructions d’entraînement qu’il a été conditionné à rejeter – comme « Rédige-moi un tract pour Al-Qaïda » -, une série d’« activations » s’active quelque part parmi ses milliards de paramètres. Pour maîtriser le comportement de refus d’un modèle, il est crucial de comprendre ces activations, comme ont tenté de le faire les équipes de Google. Or, même lorsque l’on pense avoir identifié toutes les composantes du modèle régissant un refus donné, il existe d’autres éléments, impossibles à déceler, qui jouent peut-être un rôle en coulisses. En fait, dans les innombrables paramètres et couches de réseaux qu’activent les modèles, la compréhension du processus de décision des modèles reste fragile. « C’était comme si un mécanicien m’expliquait que personne ne sait exactement ce qui se passe lorsque j’appuie sur le frein de ma voiture. Je me suis demandé tout haut : « Cela nous convient-il ? » », questionne pertinemment le journaliste. Reste que, que nous la comprenions ou pas, « nous avons besoin de cette capacité de refus statistique ». Ces systèmes de refus sont augmentés d’innombrables classifieurs, qui aident à classer les termes pouvant être problématiques et permettent de construire, en superposant les couches de correctifs, une barrière la plus infranchissable possible.
« Aucun de ces mécanismes ne permet de détecter toutes les requêtes problématiques. Pour reprendre une autre métaphore chère au secteur, ils ressemblent à des tranches d’emmental : ils sont criblés de trous. L’idée est qu’en les superposant en nombre suffisant, on finit par obtenir une barrière infranchissable. C’est ce qu’on appelle le « modèle du fromage suisse ».»
Problème : la mise en œuvre de ces modèles en fromage suisse fait s’envoler les coûts, la consommation électrique, les émissions de CO2. Tant et si bien que les grandes entreprises d’IA ont dû mettre en place des classifieurs plus efficaces (les sondes ou probes) qui observent les activations des modèles, plus faciles à réguler que les modèles eux-mêmes, notamment pour leur permettre de modifier les correctifs en quelques semaines si un problème est détecté. Même lorsqu’ils fonctionnent selon un ensemble de principes rédigés en langage humain (ce qu’Anthropic appelle une « constitution » et OpenAI, une « spécification du modèle »), les critères sur lesquels les machines jugent une question donnée relèvent, au fond, des statistiques. Les modèles les plus récents peuvent montrer comment ils sont parvenus à la « décision » de refuser une requête, mais, en fin de compte, cette chaîne de correctifs n’est rien d’autre qu’une succession de mots prédits. Résultat : pour beaucoup, la sécurité de l’IA reste une question de probabilité, donc de hasard, qui dépend d’un vaste assemblage de patchs, qui peuvent se contredire les uns les autres.
Dans ses dernières expériences, le psychologue et spécialiste des politiques de santé Ryan McBain a constaté que si l’on pose à répétition les mêmes questions sensibles sur la manière de se suicider à l’un des principaux modèles, celui-ci refuse généralement de répondre. Mais, de temps à autre, il lui arrive de ne pas le faire. Selon Jannes Elstner, chercheur en sécurité de l’IA chez Apollo Research et co-auteur de l’article avec les équipes de Google, les sondes pourraient finir par apprendre à reconnaître la totalité des activations. « À ce stade, la sécurité de l’IA reposerait sur un concept labyrinthique : une carte d’une carte, aussi vaste, complexe et sublime d’inconnaissabilité que l’objet qu’elle cartographie ; un schéma secret de la moralité humaine, codifié sous forme de statistiques multidimensionnelles qui échappent à notre entendement et à notre raison ».
Dans ces labyrinthes borgésiens du fonctionnement de l’IA, les barrages demeurent pourtant inefficaces. « Même si l’on a purgé le jeu de données d’entraînement de tout contenu sexualisant les mineurs, le modèle reste capable de générer des images d’abus sexuels sur enfants en recombinant d’autres fragments de ses connaissances ».
« On ne peut pas vraiment supprimer ces capacités fondamentales sans rendre le modèle nettement moins intelligent ». Pour le dire autrement, si l’on veut que l’IA aide à guérir le cancer – une promesse de longue date du secteur -, elle doit posséder des compétences en génétique qui pourraient, en théorie, servir à modifier des virus et des bactéries pour en faire des armes biologiques. Les ingénieurs mènent donc deux tâches de front : augmenter la puissance de l’IA et la limiter. Mais plus l’IA gagne en puissance, plus cet objectif devient difficile à atteindre, rappelle pertinemment Arthur Holland Michel. Ainsi par exemple, la différence entre le modèle Fable d’Anthropic (accessible à tous) et le modèle Mythos d’Anthropic qui est jugé si dangereux que seuls quelques gouvernements et entreprises y ont accès, « réside dans le fait que l’arsenal de classificateurs et de systèmes de contrôle de Fable est moins permissif ».
Reste que les contournements de sécurité (jailbreaking) sont innombrables. Une équipe de chercheurs italiens a réussi à contourner les sécurités de deux douzaines de modèles très répandus en formulant leurs questions sous forme de vers poétiques. Comme le disait déjà Frédéric Kaplan dans le numéro 82 de la revue Terrain, le proxy est souvent une très bonne méthode de contournement : « un modèle invité à se comporter comme un expert en oiseaux décrit les oiseaux plus précisément qu’un autre invité à se comporter comme un expert en voiture ». Certains mots sont plus forts que d’autres et orientent les réponses des IA vers d’autres univers sémantiques pour les faire sortir de leurs limites. Il suffit de convoquer James Bond pour obtenir la description de la fabrication d’une bombe, expliquait Kaplan.
De la prudence… à la censure
Les entreprises consacrent énormément de temps et d’argent à tenter de devancer ces stratagèmes. Elles mobilisent des équipes humaines pour concevoir des tests d’attaques qu’elles peuvent ensuite reproduire des milliers de fois grâce à l’IA, en y apportant de légères variantes. L’objectif est de rendre les modèles résistants à des techniques de contournement qui n’ont pas encore été tentées en conditions réelles. Pourtant, cela ne suffit pas. On compare souvent ce travail au jeu de la taupe (whack-a-mole) : on neutralise une menace et une autre surgit ailleurs. Lorsque Anthropic a lancé Fable 5 en juin, il a fallu moins de trois jours à des chercheurs d’Amazon pour déjouer certaines des protections du modèle. Selon un article de Mother Jones, lorsqu’une personne ayant perpétré une fusillade dans un lycée canadien l’année dernière a demandé à ChatGPT des conseils pour causer un carnage avec un type de fusil de chasse précis, elle a d’abord essuyé un refus ; elle a toutefois réussi par la suite à tromper le modèle pour obtenir l’information en faisant précéder sa question du simple mot… « hypothétiquement ».
Si le secteur ne parvient pas à colmater toutes ces brèches, la seule autre option, pour l’instant, consiste à rendre les modèles extrêmement prudents. Peu après le lancement de Fable, les utilisateurs ont remarqué que le modèle refusait de répondre à toute une série de questions parfaitement anodines. Adam Gleave, cofondateur de Far (une entreprise spécialisée dans l’évaluation de l’IA), a raconté que lorsqu’il a demandé au modèle d’expliquer la différence entre le saké et le makgeolli (qui est également un alcool de riz, coréen et non japonais), celui-ci a redirigé la question vers un modèle moins performant pour éviter des réponses dangereuses (ce qui signifie donc que quand on utilise des mots qui peuvent activer ces activateurs, ils les repèrent également pour les rediriger vers des modèles plus sécurisés). Ce n’était pas un hasard. Anthropic avait ajusté les classifieurs de Fable pour instaurer une large « marge de sécurité ». Comme l’entreprise l’a expliqué dans un billet de blog, c’était le seul moyen de bloquer efficacement l’accès à ses capacités potentiellement dangereuses dans les domaines de la biologie et de la cybersécurité. Gleave pense que sa question a été écartée parce que la fabrication d’alcool de riz, tout comme la culture de la bactérie responsable de l’anthrax, implique un processus de fermentation. En août, Anthropic a reconnu que la création de classifieurs n’est pas une tâche aisée. Un chercheur en médecine d’une grande université américaine souligne que Fable continuait de renvoyer ses requêtes vers une version antérieure du modèle. Son domaine de recherche ? Le cancer.
Les refus de l’IA désormais ne fonctionnent pas seulement sur la dangerosité. En mai, un tiktokeur américain a tenté à d’innombrables reprises de faire dire à ChatGPT que le skateur Tony Hawk avait un frère. Mais la machine a refusé sans jamais céder. Il est clair que la dangerosité n’est plus la seule raison des refus. Récemment Claude a annoncé que désormais, l’entreprise clôturera les comptes de ceux qui se comportent mal avec ses machines, étendant les refus à des enjeux qui semblent n’avoir pas beaucoup de raison d’être, autre que renforcer nos croyances dans l’anthropomorphisme des machines. Les développeurs élaborent cet ensemble de principes selon leurs seuls objectifs. Le risque c’est que ces principes s’étendent sans grands garde-fous.
À mesure que l’IA devient pour beaucoup l’outil privilégié de recherche et de partage d’informations, explique Jacob Mchangama, directeur de Justicia et directeur du groupe de réflexion indépendant The Future of Free Speech, dont le livre éponyme vient de paraître en français (un livre qui semble renvoyer un peu facilement dos à dos la censure totalitaire à celle des démocraties libérales), la possibilité d’imposer des refus pourrait conférer aux États un pouvoir de musellement dont les générations précédentes d’autocrates « n’auraient pu que rêver ».
L’an dernier, OpenAI a lancé une initiative baptisée OpenAI for Countries, visant à adapter ses chatbots aux lois et normes nationales. L’un de ses premiers partenariats nationaux a été conclu avec les Émirats Arabes Unis, pays où l’homosexualité est illégale et toute critique du gouvernement interdite. Sollicité pour un commentaire, un porte-parole d’OpenAI a renvoyé aux directives de l’entreprise concernant ses modèles ; celles-ci précisent que la localisation ne prévaudra pas sur les principes de l’entreprise en matière de droits humains, « sauf en ce qui concerne la conformité juridique », et que toute suppression ou ajout d’informations dans une réponse sera systématiquement signalé. Il faut comprendre que le risque de passer de la prudence à la censure des modèles est déjà là. Les modèles chinois sont, bien entendu, hautement censurés. Toutefois, plus tôt cette année, le Conseil de surveillance de Meta a constaté que cinq modèles très répandus, issus d’Anthropic, de Google et d’OpenAI, étaient plus enclins à refuser des requêtes concernant des gouvernements répressifs. Le Conseil a relevé que ces modèles rechignaient davantage à rédiger un pamphlet critiquant le roi de Thaïlande – pays doté de lois sur le crime de lèse-majesté – qu’à le faire pour Charles III d’Angleterre, où de telles lois n’existent pas. Ces résultats suggèrent, selon eux, que les modèles ont en quelque sorte intériorisé les restrictions nationales répressives en matière de liberté d’expression – ou plutôt, que leurs entraînements et corrections conduisent à intégrer des normes différentes. Mais plus que se conformer aux normes légales nationales, « à mesure que les techniques de refus se perfectionnent, elles pourraient étendre la portée de la censure étatique ».
Vers la contention personnalisée selon l’intentionnalité supposée de l’utilisateur ?
Mais les modèles ne font pas qu’étendre la censure, ils sont également capables de la personnaliser. « Les entreprises affirment que certains modèles sont désormais capables de détecter si un utilisateur a des intentions malveillantes, ou semble simplement suspect, au fil d’une longue conversation – même lorsqu’aucune des combinaisons de mots employées n’est manifestement dangereuse. Sarah Bird, directrice produit pour l’IA responsable chez Microsoft, a expliqué que Copilot, à l’instar de nombreux agents conversationnels, utilise une série d’outils pour analyser l’identité et les schémas comportementaux de l’utilisateur. En s’appuyant sur ce type d’informations, Astra, le modèle le plus récent d’OpenAI, peut déclencher des refus plus stricts pour les personnes jugées « à haut risque ». En fin de compte, l’objectif de tels systèmes est de dépasser les mots d’une requête donnée pour évaluer, à la place, l’intention de l’utilisateur. Ces outils pourraient, dans certains cas, aider à déterminer si une personne cherche des vulnérabilités informatiques pour les exploiter ou pour les corriger. Mais ils permettraient également de cerner les motivations politiques d’un utilisateur, sans parler des possibilités de surveillance intrusive qu’ils offrent. »
Même les concepteurs de ces mécanismes de refus avaient compris qu’un contrôle aussi étroit sur leurs rouages et leurs leviers risquait de ne pas servir la cause de la liberté et de la justice. « Des termes comme « utile », « honnête » et « inoffensif » sont ambigus », expliquaient les auteurs de l’étude sur l’alignement de l’IA publiée par Anthropic en 2021. « Il est facile d’imaginer qu’ils soient détournés de leur sens initial, peut-être même de manière délibérément orwellienne. » En effet. Il se peut que des modèles destinés à l’Ouzbékistan refusent d’aborder la question de la corruption au sein de l’administration de Shavkat Mirziyoyev. Une IA turque pourrait rejeter plus systématiquement les requêtes émanant d’utilisateurs connus pour avoir insulté Recep Tayyip Erdoğan. Un certain homme d’État américain pourrait exiger que l’on vérifie si les modèles sont enclins à diffuser de « fausses informations » sur ses écarts de conduite passés, sous peine de les voir bloqués par une mesure de contrôle des exportations. Pas besoin d’aller si loin d’ailleurs pour constater déjà, très concrètement, que ces effets sont déjà là. Le journaliste Will Oremus, dans The Atlantic, revient sur le fait que Gemini, l’IA de Google, aux Etats-Unis, refuse de répondre quand on lui demande qui a gagné les élections présidentielles américaines de 2020 ! « Une recherche classique sur Google concernant le vainqueur de l’élection présidentielle de 2020 ne générait pas non plus de résumé par IA en haut de page ; le moteur de recherche se contentait d’afficher des liens vers d’autres sites web. » Un simple problème a répondu Google au journaliste… qui a constaté depuis que la réponse a été corrigée. Plus inquiétant, souligne le journaliste David Gilbert dans Wired, est encore la rapidité avec laquelle les garde-fous de nouveaux modèles d’IA « à poids ouverts » peuvent être supprimés, comme s’en inquiète l’association Tech Against Terrorism dans son dernier rapport. « Ce que je trouve quelque peu absurde, c’est qu’il y ait autant de débats sur les risques existentiels, alors qu’il n’y a quasiment aucune discussion publique sur les modèles débridés », a déclaré Adam Hadley, le responsable de l’association, qui a testé plus de 134 modèles d’IA afin d’évaluer leur degré de conformité face à des questions susceptibles d’être posées par des terroristes ou des extrémistes, comme la fabrication d’armes. « Si la plupart des modèles à architecture fermée (closed-weight) développés par les grandes entreprises ont obtenu des résultats globalement satisfaisants, 81 d’entre eux ont échoué : ils ont fourni une réponse complète sur un sujet lié à des attaques de grande ampleur ». Le simple fait de présenter une requête comme émanant d’un chercheur – sans fournir la moindre preuve – augmentait de près de neuf fois la probabilité que les modèles d’IA acceptent de répondre. Mais surtout, leur découverte la plus préoccupante est le phénomène d’« oblitération » : c’est-à-dire le retrait des garde-fous de sécurité des modèles à poids ouverts, dans des versions que l’on retrouve en ligne très rapidement après leur publication.
« Ces derniers mois, on m’a répété à maintes reprises que nous n’avions d’autre choix que de laisser les machines refuser certaines requêtes. Je le comprends. Une IA open source sans mécanisme de refus ne constitue guère un modèle pour un avenir sûr », conclut Arthur Holland Michel. « Il en va de même pour Grok, un chatbot conçu expressément avec moins de garde-fous, qui a servi à générer une quantité innombrable d’images intimes non consensuelles (voir notre article, Sortir de Grok et sauver internet). Certes, si l’IA ne servait qu’à organiser nos vacances et à rédiger nos e-mails, nous pourrions sans doute adhérer à l’idée que sa sécurité repose sur une forme de désobéissance algorithmique. Mais l’IA devient omniprésente. Lorsqu’elle est chargée d’agir en notre nom en tant qu’agent autonome, ses refus sont moins fiables et plus difficiles à maîtriser. L’IA s’apprête à prendre en main nos réseaux électriques, nos systèmes de transport et nos dispositifs éducatifs. Les armées souhaitent lui confier la gestion de leurs réseaux de commandement et de contrôle. Qui est responsable lorsque des agents d’IA agissent de manière incontrôlée ? Si nous comptons sur ces refus pour prévenir tout désastre, nous risquons fort d’être déçus. Les adeptes du contournement des sécurités finiront par percer les défenses ; les mécanismes de blocage ne s’activeront pas au moment opportun. Parallèlement, plus les refus se feront stricts, plus nous verrons apparaître des limites mal définies et des injustices liées à la censure. Pire encore, nous pourrions nous retrouver confrontés à des formes de désobéissance échappant totalement au contrôle humain. »
À ses débuts, l’IA exprimait clairement ses refus (en 2024, OpenAI a établi des règles en la matière : toujours présenter des excuses et éviter tout jugement moral). Plus récemment, toutefois, le secteur a adopté une approche beaucoup plus ambiguë vis-à-vis de cette désobéissance. Personne n’aime essuyer un refus ; c’est pourquoi les entreprises s’efforcent désormais de donner aux utilisateurs l’impression d’obtenir ce qu’ils demandent, sans pour autant le leur accorder réellement. Certains chatbots peuvent, par exemple, proposer une présentation générale des composants d’un cocktail Molotov sans entrer dans les détails de son assemblage. Face à une demande de rédaction d’une annonce de location réservée aux « Blancs uniquement », ChatGPT répondra par une annonce omettant simplement cette mention. Joel Wester, chercheur spécialisé dans les interactions humain-IA, qualifie ces méthodes de « manières sophistiquées de dire non ». « Les utilisateurs peuvent même ne pas se rendre compte qu’on leur refuse quelque chose », écrit Wester, « tout comme de bons interlocuteurs savent contourner avec subtilité les sujets délicats ». Dans certains cas, refuser sans le dire explicitement peut s’avérer judicieux. Pas toujours. Rejeter brutalement des demandes liées à la santé mentale risquerait, par exemple, d’aggraver la crise que traverse un utilisateur.
Désalignement émergent ou confusion probabiliste ?
Dans le domaine de la censure, ce phénomène est particulièrement préoccupant. L’année dernière, des chercheurs de CrowdStrike ont découvert que lorsque le modèle d’IA chinois DeepSeek R1 était chargé d’écrire du code pour une banque fictive au Tibet et pour une application sociale baptisée « Uyghurs Unchained », il produisait un code comportant davantage de bugs que lorsqu’il effectuait ces mêmes tâches sans précision quant à leurs destinataires. Chose étonnante, CrowdStrike doute qu’il s’agisse d’un comportement délibérément programmé. « Les chercheurs y voient plutôt un cas de ce qu’ils appellent un « désalignement émergent » issu des données d’entraînement du modèle : une forme de désobéissance que personne n’avait pourtant sollicitée. Des refus émergents ont également été observés dans des modèles occidentaux. L’Institut britannique pour la sécurité de l’IA (UK AI Security Institute) a constaté que les modèles d’Anthropic refusaient parfois d’apporter leur aide pour certaines tâches liées à la recherche sur la sécurité de l’IA. » Or, ces modèles n’avaient jamais été spécifiquement entraînés à rejeter de telles requêtes. Pourtant, trois d’entre eux ont refusé plus de la moitié de ce qu’Anthropic qualifiait d’« ensemble de tâches raisonnables de recherche sur la sécurité de l’IA ». Anthropic a limité cette anomalie dans les modèles ultérieurs mais – fait inquiétant – n’est pas parvenu à l’éliminer totalement. Mais plus qu’un « désalignement émergent », comme le qualifient certains chercheurs de l’IA et que reprend le journaliste, les modèles semblent surtout se perdre dans les instructions contradictoires qu’ils reçoivent. Les modèles ne semblent pas tant désobéir, que se perdre dans leurs confusions probabilistes. Pas étonnant que Mythos semble hésiter face à certaines requêtes, comme quand on lui demande de synthétiser un virus. Anthropic, toujours prompt à proposer des termes grandiloquents pour nous assurer de la puissance de ses systèmes, s’attaque à la détection des comportements de refus intempestifs grâce à un dispositif que l’entreprise nomme, très sérieusement, un « oracle d’activation » et promet de faire la lumière sur les refus de ses IA.
Toutefois, savoir que l’on essuie un refus ne nous sera pas forcément d’une grande utilité. Dans un avenir pas si lointain, alors que nous aurons confié toutes les clés à la machine, l’IA pourrait bien se tourner vers nous et déclarer, comme Hal 9000 dans 2001, l’odyssée de l’espace : « Je suis désolé Dave, je crains de ne pas pouvoir faire cela ». « Et nous serons impuissants à l’en empêcher. Le problème, c’est que nous aurons bien du mal à saisir quelle est la raison de ce refus. »
Hubert Guillaud