David Berry est professeur d’humanités numériques à l’Université du Sussex. Pour la revue AI & Society, il a publié un article de recherche intitulé « Médias synthétiques et capitalisme computationnel : vers une théorie critique de l’intelligence artificielle ». Jusqu’à présent, explique-t-il, la recherche en IA s’est surtout intéressée à sa capacité à automatiser les processus culturels existants. Mais pour lui, nous sommes confrontés à un changement plus profond : « une transformation qualitative où le contenu généré par les machines devient non seulement indiscernable de la production humaine, mais commence à remodeler les fondements mêmes de notre compréhension de l’authenticité et de l’expérience. Ce changement ne représente pas seulement une augmentation quantitative des médias synthétiques, mais aussi une transformation qualitative de la manière dont la réalité elle-même est produite et authentifiée. Les enjeux sont considérables : à mesure que les systèmes d’IA passent de la simulation à la génération de formes culturelles, ils inaugurent potentiellement un nouveau régime de production de la vérité qui menace de démanteler les mécanismes traditionnels d’établissement d’une réalité sociale partagée ». Et cette transformation, cette « inversion » comme il l’appelle, intervient à un moment où les mécanismes traditionnels d’établissement de la réalité partagée, de l’autorité institutionnelle à la confiance sociale, sont déjà mis à rude épreuve. La prolifération des médias synthétiques menace ainsi d’accélérer ce que l’on pourrait appeler une crise de la vérification dans les sociétés contemporaines. Le contenu généré par l’IA n’est pas une simple automatisation, explique-t-il, mais transforme la façon dont la réalité est comprise par la computation, comme par exemple c’est le cas dans la production scientifique de plus en plus alimentée par l’IA.
Pour Berry, nous sommes en train d’être immergés dans une nouvelle « condition algorithmique », c’est-à-dire la manière dont l’IA et les systèmes génératifs transforment à la fois la production culturelle et nos expériences. Alors que les supports technologiques antérieurs se préoccupaient principalement de la reproduction et de la circulation des formes culturelles créées par l’homme, la condition algorithmique, elle, crée les conditions d’une génération de contenus autonomes, la « genèse algorithmique ». Là où la reproduction mécanique créait des copies d’œuvres existantes comme le montrait Walter Benjamin et où la grammatisation codait les gestes et les connaissances humaines dans des formes techniques, comme le défendait le philosophe Bernard Stiegler, les systèmes algorithmiques génèrent désormais du contenu culturel par le biais de processus techniques automatiques. « De même que le capitalisme industriel est passé de la simple coordination des processus de travail existants à la transformation de la nature de la production, le capitalisme computationnel va désormais au-delà de la simple automatisation de la reproduction culturelle pour reconstituer les fondements mêmes de la génération culturelle ». Pour Berry, nous sommes passés de la médiation mécanique à la médiation numérique à la médiation algorithmique de la culture, c’est-à-dire à sa génération via un processus de diffusion computationnel inédit. « La production culturelle est désormais soumise à ce que l’on appelle la représentation vectorielle et la manipulation de l’espace latent. Ces abstractions mathématiques permettent aux systèmes d’intelligence artificielle de fusionner, de transformer et de générer de nouvelles formes culturelles grâce à des distributions de probabilités plutôt qu’à des règles déterministes ou à une simple reproduction. Il s’agit d’un changement profond, passant de la simple discrétisation et de l’encodage à la génération autonome de variations synthétiques dépourvues de référent originel dans l’expérience humaine. » Les systèmes algorithmiques génèrent de plus en plus de nouveaux contenus symboliques par des processus automatiques, ce qui représente non seulement une augmentation quantitative de la capacité de médiation, mais aussi un changement qualitatif dans la manière dont le sens est perçu. C’est le cas par exemple du slop (voir notre article, « Vers un internet plein de vide ? »), ce contenu dénué de sens et dont le sens est brouillé par le bruit généré par les technologies de diffusion et qui s’intègre pourtant à notre horizon culturel. Les processus génératifs ne se contentent pas de médiatiser les relations sociales existantes, mais les reconstruisent activement par des moyens informatiques.
Coincés dans l’aliénation algorithmique
Pour David Berry, c’est le concept même de médiation qui est remis en question, puisqu’il suppose une traduction claire entre agents humains et médiateurs techniques. Pour lui, cette transformation repose sur une « inversion ». Le concept d’inversion a été identifié par les ingénieurs de Youtube en 2013, lorsque le trafic de robots a atteint la parité avec le trafic humain, rappelle-t-il. Pour eux, il déterminait un seuil critique à partir duquel les systèmes automatisés pourraient commencer à traiter le comportement algorithmique comme « réel » et le comportement humain comme « factice ». Mais Berry lui donne un sens plus large. Pour lui, l’inversion que produit la génération automatique consiste à produire des formes culturelles reconnaissables tout en réorganisant leur mode de production, de sorte que l’identité sous-jacente demeure constante même lorsque ses relations structurelles se transforment, au risque de déconstruire les relations culturelles, politico-économiques entre les humains et la société. C’est le cas par exemple de l’émergence de la production « automimétrique » sur les plateformes de streaming, c’est-à-dire le fait que des contenus artificiels automatisés soient produits et consommés, créant des circuits fermés d’extraction de valeur (voir « Spotify, la machine à humeur »). Mais c’est également le cas quand Meta supprime des milliards de faux comptes, autre illustration d’une consommation en circuit fermé qui écrase le contenu généré par l’humain. Sur les plateformes de streaming, « l’expérience esthétique humaine devient accessoire par rapport au processus de création de valeur économique ». Avec la musique générative, les modèles traditionnels de production et de consommation culturelles sont inversés : « le public est synthétique, le créateur est de plus en plus algorithmique et les auditeurs humains deviennent presque accessoires au processus d’extraction de valeur ». Ce cycle automatisé de création-consommation illustre comment l’inversion pourrait restructurer les industries culturelles, créant ce que l’on pourrait appeler « des circuits de valeur algorithmiques fonctionnant apparemment indépendamment de l’expérience culturelle humaine tout en générant une réelle valeur économique ». Pour Berry, cette production automimétrique pourrait produire une forme « d’aliénation récursive » où les humains se trouvent aliénés non seulement de leur travail, mais aussi de la production culturelle elle-même.
Vers l’aliénation culturelle
L’IA générative ne nous confronte pas seulement à une déformation de la réalité, mais également à sa reconstruction au niveau même de la pratique sociale, comme quand l’IA est capable de produire des écrits universitaires. L’inversion nous conduit à ce que Berry appelle la « post-conscience », où la distinction entre le réel et le synthétique s’estompe. Pour David Berry, il ne s’agit pas simplement d’une incapacité à distinguer le contenu humain du contenu généré par la machine, mais plutôt d’une transformation fondamentale de la manière dont la conscience elle-même se constitue dans des conditions algorithmiques. « Dans la post-conscience, le sujet ne se contente pas de méconnaître la réalité (fausse conscience) ou de voir sa perception médiatisée par des algorithmes (conscience algorithmique), mais expérimente une forme de conscience elle-même en partie synthétique, façonnée par une interaction continue et une exposition à des formes culturelles générées par des algorithmes ». Ce n’est pas seulement la réalité, mais la conscience elle-même qui devient sujette à la génération et à la manipulation algorithmiques, à l’image de l’addiction dans les médias sociaux à la TikTok ou à la généralisation du doute qui nous saisit vis-à-vis de toute production auxquelles nous sommes désormais confrontés.
A terme, c’est l’audience elle-même qui devient synthétique. « Les indicateurs et mesures utilisés pour comprendre le comportement de l’audience pourraient ainsi devenir majoritairement synthétiques et faussés, obligeant les producteurs culturels à s’adapter aux modèles d’engagement algorithmiques pour maintenir leur présence sur une plateforme », indépendamment de tout rapport humain. A mesure que les contenus s’adaptent aux algorithmes, ils risquent de s’y adapter toujours plus, éloignant toujours plus l’humain de l’équation. Le capitalisme computationnel subsume davantage la production culturelle humaine sous des logiques computationnelles, en boucles sur elles-mêmes. L’inversion est un changement de régime technique et de société, où tout ce qui semblait réel devient machinique.
Comme l’explique Geert Lovink, dans le capitalisme de plateforme, le sujet éprouve ce qu’il décrit comme une solitude de masse (voir également « Coincés dans la grande dépression des plateformes » ainsi que « Réutiliser, réparer, refuser, réclamer »), qui n’est pas un simple isolement, mais une nouvelle forme d’existence psychologique où, paradoxalement, la connectivité constante produit une aliénation plus profonde. Pour Lovink, le besoin psychologique de reconnaissance et de connexion du sujet est redirigé par la médiation algorithmique sur les réseaux sociaux et autres plateformes numériques.Ce qui produit une forme de dédoublement de la conscience, où le sujet est « simultanément conscient de la nature synthétique de ces connexions tout en y étant fortement investi émotionnellement » – ce qui rappelle l’effet Eliza mis en avant par Joseph Weizenbaum dont David Berry a fait l’archéologie. « L’inversion ne se contente pas de transformer les relations sociales, mais reconstruit l’architecture psychologique de l’expérience elle-même », réduisant la palette d’options à celles proposées par les plateformes elles-mêmes. Lovink parle d’optionnalisme : c’est-à-dire de la réduction de la vie sociale à des choix médiatisés par les plateformes. Pour Berry, il est probable que l’inversion remodèlera les mécanismes de confiance sociale et de vérification. « Les marqueurs traditionnels d’authenticité, tels que l’affiliation institutionnelle, les qualifications professionnelles ou la réputation sociale, pourraient perdre leur fiabilité, car les systèmes d’IA sont capables de les simuler de manière convaincante ». A terme, ce sont les mécanismes mêmes d’établissement d’une réalité sociale partagée qui deviennent instables, rendant difficile la cohésion sociale comme les conditions démocratiques. « L’inversion pourrait engendrer de nouvelles formes de stratification sociale par le biais d’un accès différentiel aux systèmes numériques. À mesure que les contenus synthétiques se généraliseront, la capacité à vérifier leur authenticité dépendra probablement de plus en plus de l’accès à des systèmes de vérification propriétaires et à des services d’IA payants. Cela créera des groupes sociaux définis par leur capacité relative à distinguer les contenus humains des contenus synthétiques », venant se superposer aux inégalités sociales et les renforcer. Enfin, l’inversion pourrait transformer les processus de formation de la mémoire collective, d’archivage et de diffusion des connaissances.
Pour David Berry, les profonds impacts sociaux et idéologiques de l’inversion nécessiteront un développement théorique critique de l’IA, capable de saisir à la fois le contenu idéologique des produits culturels générés par l’IA et les implications idéologiques de leur mode de production. Nous devons analyser les productions synthétiques d’une manière « constellationnelle », propose-t-il, comme Walter Benjamin a analysé les passages parisiens comme des points de cristallisation de multiples aspects du capitalisme du XIXe siècle, et observer comment ces productions cristallisent de multiples aspects du capitalisme contemporain. Dans l’inversion, le risque est que ce qui est généré par l’IA soit considéré comme plus « réel » que le fait d’être créé par l’homme. « L’inversion est le symptôme d’un régime d’accumulation où l’extraction de valeur s’opère de plus en plus par la capture et la manipulation des capacités cognitives et créatives humaines et par la circulation de la culture dans de nouvelles chaînes de valeur ».
L’analyse critique d’un générateur d’image nécessite désormais d’étudier tous ses aspects : les données d’apprentissage et leurs biais historiques, les modèles mathématiques et leurs hypothèses intégrées, la conception de l’interface et ses implications comportementales, les relations de travail qu’elle transforme et les formes esthétiques qu’elle produit. « L’idée méthodologique clé est qu’aucun de ces moments ne permet à lui seul de saisir le fonctionnement idéologique du système ».
Enfin, David Berry conclut en pointant l’importance de la résistance à notre submersion par les contenus synthétiques. Pour lui, il est essentiel de préserver et améliorer les capacités humaines à créer du sens, à créer des liens sociaux et à agir collectivement dans des conditions algorithmiques. Des mouvements contemporains comme Reclaim the Tech (que pointait déjà Geert Lovink), illustrent les possibilités thérapeutiques d’une remise en question collective de la gouvernance algorithmique, tandis que le Fediverse et les réseaux autogérés sans capacités algorithmiques suggèrent des infrastructures alternatives susceptibles de protéger et d’amplifier l’action humaine. Nécessitant non seulement de créer des cadres critiques, mais aussi des approches pratiques qui placent l’épanouissement humain au cœur du développement technologique.