Le mythe de la bonne IA

« La société délirante dans laquelle nous vivons ressemble à un mensonge parfaitement mis en scène que l’on nous persuade d’accepter comme une réalité », estime Arshin Adib-Moghaddam dans son livre The myth of good AI : a manifesto for critical Artificial intelligence (Le mythe de la bonne IA : un manifeste pour une intelligence artificielle critique, Manchester university press, 2025, non traduit). Cette société délirante n’est pas le produit de l’IA, constate pourtant le professeur de philosophie et codirecteur du Centre pour les futurs de l’IA de l’université de Londres. Mais, l’IA vient la renforcer parce qu’elle « floute les lignes de nos modes de compréhension de la vérité et du mensonge, du pouvoir et de la résistance, de la subjectivité et de l’objectivité, de la science et de la fiction ». Ce qui change avec l’IA, c’est que Big Brother n’est plus une autorité qui nous contrôle de l’extérieur, mais une perturbation qui vient altérer nos facultés cognitives elles-mêmes. 

Pour Arshin Adib-Moghaddam, ni Orwell, ni Foucault ne peuvent nous aider à saisir le monde actuel. L’assaut contre notre autonomie est massif, à l’image du projet délirant de Torre Centilena à Ciudad Juarez, équipée de 1791 lecteurs de plaques d’immatriculation, 74 drones et 3000 caméras panoramiques pour surveiller la frontière américano-mexicaine à perte de vue. Le pouvoir n’est plus incarné. « Le pouvoir est en train de devenir liquide, il prend la forme de tout ce qu’il colonise et devient quasiment invisible ». Le régime de surveillance est en passe de devenir « microbien ». C’est-à-dire que non seulement il est partout, qu’il est intégré au plus profond de nous, mais qu’il tend à exercer un contrôle total, partout, tout le temps en étant totalement intrusif et en régissant jusqu’à notre psychisme même. Adib-Moghaddam parle de « psycho-codification » du monde pour évoquer cette intrusion inédite des méthodes qui altèrent jusqu’à ce que l’on pense, jusqu’à nos intentions disions-nous récemment. Cette intrusion nous entraîne dans une guerre posthumaine, entre les humains et les machines. Nous sommes désormais la cible de drones, de machines, d’algorithmes qui s’en prennent à nos individualités mêmes. Partout, le meurtre et la torture s’étendent sans avoir plus de comptes à rendre, à l’image de la police des frontières américaines, ICE, qui déploie son emprise, comme d’autres armées et d’autres polices, via des machines de surveillances totalitaires. Comme le pointait pertinemment le journaliste Olivier Tesquet suite aux révélations que l’ICE aurait arrêté plus de 75 000 personnes aux Etats-Unis sans historique criminel (soit un tiers des 220 000 personnes arrêtées depuis 9 mois) : « plus l’ICE s’appuie sur Palantir pour « rationaliser » l’appareil répressif, plus les arrestations deviennent arbitraires. Ce n’est pas un bug mais une fonctionnalité : la machine produit la catégorie d’indésirables dont l’administration Trump a besoin ».

Derrière ces transformations bien réelles, l’IA les prolonge encore, en s’en prenant à nos sens mêmes, jusqu’à nous faire douter de la réalité même. 

Derrière cette société délirante, il faut entendre qu’il y a une « utilisation infâme » des technologies. De la reconnaissance faciale qui criminalise les minorités raciales aux logiciels de récidives qui discriminent les populations racisées aux scores de risques qui refusent des aides et des prêts aux populations minorisées et pauvres… une même oppression se déploie pour renforcer et cimenter les inégalités structurelles de la société.

Dans ce contexte, estime Arshin Adib-Moghaddam, on entend beaucoup parler d’éthique, d’IA responsable, qui serait à même, bientôt, demain, de réparer les systèmes et « d’atténuer les dommages ». Mais l’IA peut-elle être éthique ? 

L’IA peut-elle être éthique ?

Non répond le philosophe. L’IA est là pour imposer sa terreur, comme le disaient Hagen Blix et Ingeborg Glimmer. L’IA est là pour produire de l’incertitude, de l’angoisse, et cette peur est une méthode de gouvernance. « L’IA augmente la capacité de ceux qui l’utilisent à nous terrifier, dans un but de contrôle, de surveillance et de profit ». L’écrivain iranien Jalal Al-e Ahmad parle de « westoxification » (contraction entre West, l’Occident, et intoxication pour désigner une forme d’absorption toxique, de submersion par la culture occidentale – le terme a été traduit en français en « occidentalite ») pour désigner l’oppression de la modernité occidentale, comme le chercheur et sociologue péruvien Anibal Quijano dénonce la « colonialité », c’est-à-dire le fait que les rapports de pouvoir colonialistes perdurent notamment depuis les technologies. 

Dans son livre, Arshin Adib-Moghaddam commence par débugger le discours des machines éthiques. Les fondations idéologiques de la science sont dysfonctionnelles, rappelle le philosophe. La science a accompagné le projet politique de la modernité, comme l’expliquaient Ulises A. Mejias et Nick Couldry dans Data Grab (voir notre recension). Les Lumières ont transformé le racisme en science. Et l’IA n’est qu’une extension d’un système techno-colonial, remanié par le néofascisme en cours. 

L’idée même d’éthique est poreuse à ces idées problématiques, explique-t-il. L’éthique se présente comme un mécanisme universel, mais oublie que cette philosophie qui pense pouvoir rendre nos machines et nos actions responsables, est une pensée spécifique, historique, contingente à la philosophie occidentale… Et qui l’est d’autant plus qu’elle a oublié les apports des autres philosophies. Arshin Adib-Moghaddam évoque nombre de philosophes asiatiques, arabes ou juifs effacés de la tradition philosophique au profit des philosophes grecs et européens. « Les façons de poser les questions éthiques autrement ont été balayées ». Pour les thuriféraires de l’IA, la vénération de sa puissance tourne à la religion. Mais si la machine peut-être Dieu, ce fondamentalisme s’annonce aussi dangereux que l’extrémisme religieux, prévient Arshin Adib-Moghaddam. Pourtant, qui s’inquiète de l’interfaçage des machines à nos cerveaux, du devenir posthumain que nous promettent les développeurs de l’IA ? Kant, Hume ou Locke, ces grands penseurs de l’Occident, ont tous tenu des propos racistes, ont tous défendu l’idée que les barbares devaient être civilisés par les Européens. Et ces grandes pensées occidentales sont celles-là même qui viennent alimenter de leurs données l’IA moderne. « L’IA est ethnocentrée et cet ethnocentrisme ne sera pas corrigé par les données », par l’amélioration des traitements ou par un sursaut éthique. Les manuels d’éthique doivent être réécrits, estime Adib-Moghaddam, qui invite à partir d’autres philosophies pour bâtir d’autres IA. 

L’IA : machine à discriminer

Arshin Adib-Moghaddam dénonce le terme de biais qui a colonisé la critique de l’IA. Les biais sont un terme bien dépolitisé pour évoquer l’oppression structurelle inscrite dans les données, dans notre histoire. Le racisme des sociétés occidentales a été intériorisé dans une « géopolitique eugéniste » qui ne domine pas seulement les relations internationales ou économiques, mais qui psycho-codifie jusqu’à nos corps et nos esprits. Le racisme a été la  stratégie impériale et scientifique qui a encore des effets quotidiens, qui inocule nos outils, comme la médecine, qui tue encore des patientes et des patients parce qu’elles et ils sont noirs, parce qu’elles sont des femmes et parce que les données médicales ne sont pas collectées sur elles et eux. Les rapports et les études sur le sujet s’accumulent sans que la médecine elle-même ne réagisse vraiment, comme si elle ne s’était jamais départie des origines racistes de la science, que dénonçait par exemple le sociologue Eduardo Bonilla-Silva dans son livre Racism without Racists : Color-Blind Racism and the Persistence of Racial Inequality in the United States (Le racisme sans les racistes : le racisme indifférent à la couleur et la persistance des inégalités raciales en Amérique, Rowman & Littlefield , 2003, non traduit). Même durant le Covid, les quartiers racisés ont été plus décimés que les autres. 

On peut alors dénoncer les biais racistes des systèmes, de la reconnaissance faciale aux pratiques algorithmiques d’Uber. Mais c’est oublier que nous sommes cernés par des données algorithmiques « blanchisées » (whitewashing), c’est-à-dire à la fois blanchies parce qu’ignorantes de la couleur de ceux qu’elles écartent et blanchies parce qu’elles masquent leurs dysfonctionnements raciaux. Nous sommes coincés entre un passé pollué et un présent problématique. Nous restons par exemple coincés dans les constats où les cancers de la peau sont plus importants pour les populations de couleurs alors qu’ils sont moins diagnostiqués pour les patients noirs que blancs. Ces données et ces erreurs pourtant ne sont pas corrigées, pas prises en compte. La perspective d’augmenter notre capture par des données n’annonce pourtant pas d’amélioration, au contraire, d’abord et avant tout parce que cette invasion doit être comprise pour ce qu’elle est : une extension de l’héritage de l’eugénisme raciste de la science, une forme d’expansion biopolitique du contrôle plus qu’une promesse de justice et d’égalité. 

Les mauvaises données produisent de mauvais algorithmes et de piètre systèmes d’IA, rappelle le philosophe. Or, nous sommes cernés de mauvaises données. Les préjudices du passé envers certaines populations sont intégrés aux systèmes qui vont produire l’avenir. Cela ne peut pas bien se passer. Pourtant, fort de ces constats, terribles, les recommandations éthiques paraissent bien trop mesurées. Elles invitent à améliorer la représentation et la diversité des ingénieurs et des éthiciens, à améliorer les principes éthiques, à améliorer l’éducation des ingénieurs… dénonce Arshin Adib-Moghaddam. Autant de mesures qui tiennent plus de l’orientalisme qu’autre chose, pour faire référence au concept développé par l’intellectuel palestino-américain Edward Saïd dans son livre éponyme (Le Seuil, 1978), ouvrage fondateur des études postcoloniales. Pour Saïd, la tradition artistique et scientifique orientaliste n’est qu’une étude de l’Orient par l’Occident, une interprétation de l’Orient, une condescendance au service de l’impérialisme. 

Du techno-orientalisme au privilège épistémique

Pour Arshin Adib-Moghaddam, le techno-orientalisme qui consiste à améliorer la diversité des développeurs ou à produire une équité par des corrections techniques n’est en rien une solution. ll ne remet pas en cause le pouvoir de la technologie. « Les personnes historiquement marginalisées et vulnérables continuent à être inventées comme objets de la technologie ». Les erreurs à leurs égards, finalement, renforcent l’obsession à mieux les surveiller sous prétexte d’objectivité, pour mieux hiérarchiser la société par le calcul. « Le techno-orientalisme ne vise qu’à renforcer les frontières entre nous et eux, l’est et l’ouest, les noirs et les blancs, entre les nationaux et les autres ». Shoshana Zuboff a montré que la tolérance à l’extrémisme est bien souvent un modèle d’affaire acceptable. Dans une étude sur la toxicité de Twitter, le Centre de lutte contre la haine numérique avait montré qu’une dizaine de comptes sur X pouvaient produire du contenu haineux et conspirationniste capable de rapporter… 19 millions de dollars en revenus publicitaires. « Le techno-orientalisme s’impose comme un incubateur pour l’expansion impériale afin de maximiser les revenus pour quelques personnes sélectionnées ». L’impérialisme de X prolifère et impose sa colonialité. Comme les projections de Mercator ont valorisé l’Occident, nous montrant un Groenland par exemple aussi grand que la Chine, quand en réalité il ne fait qu’un quart de la superficie de la Chine. L’impérialisme de X, comme l’impérialisme de l’IA rend possible un « privilège épistémique » qui « confère à une poignée d’hommes le privilège d’interpréter, de juger et de planifier l’avenir de la majorité ». Partout, une poignée d’hommes blancs parlent d’un avenir inévitable (le leur), utilisent ces outils pour diffuser leurs idées sans nuances, mégalomanes, patriarcale et coloniales influentes, sans se préoccuper du sort des autres. Derrière leurs idées rances, ils défendent avant tout leur identité. Les néo-Nazis comme les terroristes d’ISIS tuent au nom de l’identité, comme le soulignait Paul Gilroy dans Against Race. Les médias sociaux sont devenus des paradis pour les fausses informations des extrémistes, où ils peuvent se faire les avocats de leurs agendas hystériques avec plus ou moins d’impunité. La stupidité y est le meilleur capital, assène le philosophe. 

La coercition est forte avec les technologies. Microsoft et Google déploient des technologies de surveillance à l’encontre des Palestiniens. Saïd disait que la déshumanisation des Palestiniens était l’un des grands héritage de l’orientalisme. Pour Arshin Adib-Moghaddam, une IA vraiment éthique devrait assurer que ses traitements et données soient auditables en accord avec les législation qui défendent les droits humains au niveau international, national et local. Le déploiement sans limite des technologies aux frontières, par la police et les militaires, nous montre qu’il n’en est rien. 

L’IA pour peaufiner l’oppression 

L’oppression structurelle, codifiée dans des institutions genrées et racistes, dans des normes politiques et sociales omniprésentes, s’apprête à entrer plus profondément dans nos esprits avec l’IA générative. Quand on pose des questions à ces moteurs, ils produisent certaines réponses qui sont le reflet des sociétés occidentales qui les produisent. A la question y-a-t-il un génocide à Gaza, ChatGPT répond non. A la question peut-on torturer une personne, ChatGPT répondait par l’affirmative si cette personne venait d’Iran, de Corée du Nord ou de Syrie. Ces « erreurs » qui n’en sont pas mais qui peuvent nous être présentées comme telles, sont bien sûr corrigées parfois. Les modèles de langage galvanisent les préjudices raciaux comme le montrait l’étude menée par Valentin Hofmann (qu’on évoquait ici) qui montrait que l’IA s’adapte aux niveaux de langage de son interlocuteur ou qu’elle classe les mêmes CV différemment selon les consonances culturelles des noms et prénoms. Mais ils ne sont que les reflets des sociétés qui les produisent. Les modèles de langage sont bien les produits racistes de sociétés racistes, affirme celui qui avait dénoncé le caractère raciste de l’IA dans un précédent livre. Les corrections sont possibles, au risque d’enseigner superficiellement aux modèles à effacer le racisme, tout en le maintenant à des niveaux plus profonds. « En fait, nous sommes confrontés par une forme furtive de technoracisme soigneusement dissimulée par un univers d’IA de plus en plus opaque ». Dans ces IA, les musulmans sont toujours associés à la violence. 

Weizenbaum nous avait prévenu : les humains sont plus enclins à se confier à une machine qu’à un humain. Et ce pourrait être exploité plus avant par les machines de coercition de demain. La CIA a beaucoup travaillé sur les drogues et outils permettant de mettre les gens en confiance, rappelle Arshin Adib-Moghaddam. Si les méthodes d’interrogation utilisées à Abu Ghraib ont été sur la sellette, le Mikolashek Report montrait par exemple que les frontières entre la torture, les abus et les techniques d’interrogations dites légitimes étaient plus poreuses que strictes. A Abu Ghraib, la torture n’était pas un accident. Les individus qui ont été torturés n’étaient pas isolés. A Abu Ghraib, les interrogatoires ne devaient pas laisser de traces sur les prisonniers et le système médical a donné ses conseils aux militaires pour y parvenir. C’est lui qui a proposé des modalités d’interrogatoires coercitives. A Abu Ghraib comme à Guantanamo Bay, des procédures ont été mises en place, comme le fait d’empiler les prisionniers nus pour profiter du fort tabou de l’homosexualité dans la culture arabe et musulmane. 

Que fera l’IA qui est déjà appelée à assister les interrogatoires de la CIA ou de la police ? Aura-t-elle encore plus que les humains la capacité de briser notre humanité, comme s’en inquiétaient des chercheurs ? Sera-t-elle l’outil parfait pour la torture, puisqu’elle pourra créer du contexte psychologique ou informationnel pour rendre les gens toujours plus vulnérables à la manipulation, comme des chatbots compagnons, dressés contre nous. 

La torture à Abu Ghraib a été rendu possible parce qu’elle a épousé totalement la culture de ceux qui l’ont pratiqué. « L’histoire récente de l’IA n’apporte aucune preuve que les systèmes d’IA soient plus objectifs que les humains, à mesure qu’ils déploient les mêmes biais qu’eux, avec bien moins de responsabilité ». 

L’IA pour pour penser à notre place et prendre le contrôle des esprits

Pour le philosophe, le contrôle de l’esprit est le Graal des systèmes d’IA. Ce que veulent ceux qui déploient l’IA, c’est qu’elle prenne le contrôle des esprits. 

Mais, dans les systèmes de domination, la résistance apparaît souvent là où on ne l’attend pas, disait Anibal Quijano. Pourtant, souligne Arshin Adib-Moghaddam, la société civile ne regarde pas suffisamment ce qui se déploie, elle semble peu impliquée dans le très dynamique secteur de l’IA militaire. Face à l’inégalité de pouvoir entre utilisateurs de l’IA et producteurs d’IA qui se sédimente avec le déploiement et l’extension des outils d’IA partout, peu est fait pour nous protéger. L’érosion lente de la vie privée, l’objectivation posthumaine… nous éloignent de la dé-technologisation qu’appelle de ses vœux Carissa Véliz dans son livre, Privacy is Power (Penguin, 2021). 

Pour Adib-Moghaddam, nous devrions pourtant chercher à protéger notre humanité, plutôt que de chercher à flouter les différences entre l’homme et la machine, comme l’attendent les tenants du posthumanisme. Adib-Moghaddam souhaiterait un futur qui soit post-IA, dans lequel l’IA, au moins telle que nous la connaissons aujourd’hui, n’ait pas sa place. Tant que nous la laisserons exploiter les données passées nous laisserons construire une IA fondamentalement destructrice, extractive, qui perpétue l’irrationalité et l’agenda des conservateurs et de l’extrémisme de droite, en exploitant les données pour renforcer les différences entre un nous et un eux dans lesquels personne ne se reconnaîtra autres que les plus privilégiés. 

La promesse d’une bonne IA est centrale dans l’approche éthique que pousse la Silicon Valley, enrôlant les meilleurs chercheurs avec elle, comme ceux du MIT, du Berkman Klein Center for internet et society de Harvard. Leur travail est remarquable, mais la poursuite d’une IA éthique ne nous aide pas à trouver des restrictions au déploiement de technologies qui maximalisent la surveillance de masse et la violence systémique. « Tant qu’il n’existera pas de restrictions, les délibérations morales et politiques sur l’informatisation demeureront secondaires par rapport à l’impératif de profit ». 

A l’heure de l’IA, la lutte pour la démocratie risque d’être plus essentielle que jamais et plus difficile que jamais. Le mythe de la bonne IA nous promet un monde dont les fondations et constructions sociales ne changeront pas. « L’âge de l’IA nous promet un rapport léthargique et résigné au monde ». C’est sans surprise que ceux qui refusent cette IA là sont qualifiés d’être irrationnels, radicaux ou idéalistes… Mais ne soyons pas dupes. « Il est plus facile de prendre le parti des puissants à l’heure de l’IA, alors que nous devrions prendre la direction inverse ». « Les technologies d’IA sont un danger pour nos démocraties car elles inhibent nos choix en donnant de l’impulsion aux seuls extrêmes ». Elles nous confinent dans un espace de pensée restreint. Pour Arshin Adib-Moghaddam, il nous faut reconnaître notre humanité, une humanité qui ne peut être programmée par des machines qui ne seront jamais sensibles. 

Être humain, c’est savoir se protéger

Être humain signifie savoir se protéger de la pénétration, c’est-à-dire un droit à être laissé tranquille, seul. Nous devons réaffirmer la nécessité d’un « bouclier de la vie privée ». La critique féministe et décoloniale nous donne des armes, comme le fait Françoise Vergès par exemple en croisant les deux. Ressentir, penser, percevoir ou croire doivent rester des valeurs humaines, sans altération des machines. C’est notre intimité même que tente d’envahir le complexe industriel de l’IA. 

Ainsi par exemple, être créatif c’est indubitablement être humain. La créativité des machines n’est qu’un effort pour rendre confus nos sens et émotions, au profit du profit et dans une aversion de l’art comme un comportement insurrectionnel. Psycho-codifiés, TikTok, FB ou X sont des moyens d’envahir nos sanctuaires intérieurs. Les machines peuvent faire n’importe quelle tâche sans ressentir la douleur et la discipline nécessaire que l’auto-amélioration nécessite. D’où des productions sans âme, « inutiles pour l’émancipation sociale comme politique ». En associant l’art au seul profit, la matrice technologique propose de faire suffoquer l’essence même de l’art, comme s’il n’était qu’une extension technologique, qu’un moyen de contrôler la subjectivité humaine.

De quelque endroit qu’on l’analyse, l’IA ne nous offrira aucun antidote à l’impéralisme, au colonialisme et à l’extrémisme. « Nous sommes tous devenus les objets du colonialisme des données extraites de nos corps mêmes ». Le colonialisme était horizontal, géopolitique dans son expansion. Le colonialisme des données, lui, est intimement vertical. Il vise à objectifier des individus vulnérables au profit des sociétés technologiques du Nord global. Les grandes entreprises exigent de nous psycho-codifier en permanence et partout. Arshin Adib-Moghaddam défend un manifeste post-IA qui seul peut gagner la bataille entre le poète et la machine, le stylo et l’épée, le modérateur biaisé et l’activiste paisible. Nous avons besoin de justice et d’émancipation sociale, rien d’autre. Ce qui n’y œuvre pas n’a pas d’intérêt. L’ignorance, l’évitement et la passivité que nous promettent l’IA et ses tenants, ne nous proposent aucun avenir. « Si nous avons besoin d’une bonne IA, nous avons besoin d’une bonne IA qui réponde à nos termes », qui puisse nous permettre de reprogrammer le futur plutôt que de subir la perpétuation du passé.  

Être humain, c’est savoir se protéger. Et face aux machines, l’enjeu est encore de le pouvoir. 

Hubert Guillaud