Dans la même rubrique
La technologie et le capitalisme sont des structures qui désormais s’entretiennent l’une l’autre et se renforcent mutuellement. Des « structures », au sens que, l’une comme l’autre, forcent la vie sociale à s’y adapter et par lesquelles nous sommes complètement ensevelis, explique le politologue australien Jathan Sadowski dans son nouveau livre, The Mechanic and the Luddite : a ruthless criticism of technology and capitalism (Le mécanicien et le luddite : une critique impitoyable de la technologie et du capitalisme, University of California Press, 2025, non traduit).
Comment la technologie accélère le capitalisme
Si le capitalisme produit de l’argent, la technologie, elle, produit des outils pour accélérer la production d’argent, explique simplement le chercheur. Et ces outils sont devenus désormais le plus important vecteur de pouvoir, notamment parce qu’ils servent comme nulle autre à produire de l’argent.
Déterministe, prévisible, linéaire, la technologie se présente comme le moyen pour donner forme au monde que le capital finance pour en tirer avantage. Le capital y encode ses intérêts, comme il encode ses intérêts dans la législation. La loi et la techno sont créées par une classe économique qui profite de leur déploiement pour asseoir sa domination sur le monde. « Si la technologie assure du pouvoir, le capitalisme assure lui du profit ». D’ailleurs, rappelle-t-il à propos, les plus grandes transformations du capitalisme sont basées sur la création de nouvelles technologies qui ont augmenté et étendu la puissance du capital. La techno permet de rendre le capitalisme plus dur, plus rapide, plus fort. Les plus grandes machines du capital sont basées sur des instruments financiers et des plateformes numériques qui transforment le profit en pure spéculation, sans que l’on comprenne très bien comment le profit s’y accomplit, à l’image des transactions à haute fréquence.
Par essence, le capitalisme construit des hiérarchies de pouvoir pour générer des formes de contrôles et d’inégalités. Il crée des distinctions entre les gens pour mieux les exploiter. La division en classe est essentielle au fonctionnement du capitalisme, rappelle Sadowski. La classe est une relation aux moyens de production et au capital. En 2022, 10% des habitants de la planète se partagent 76% des ressources, 50% des plus pauvres, seulement 2%. Le capitalisme consiste à accomplir ce transfert de richesses, de la grande majorité à quelques-uns, du travail vers le capital. Pour Sadowski, ce que la technologie transforme, c’est la vitesse de ce transfert et le taux d’exploitation. Et les détenteurs du capital orientent profondément le développement de la technologie et de ce transfert à leur profit, notamment par l’investissement dans les technologies.
Dans son livre précédent, Too Smart (MIT Press, 2020, non traduit) qui s’inquiétait de l’inéluctable montée des technologies de surveillance, Jadowski décryptait déjà la logique du solutionnisme technologique. La technologie permet de justifier son emprise en se construisant : elle propose une forme de « terraformation de la société », une subsomption, c’est-à-dire une subordination des individus aux impératifs du capitalisme. Comme l’exprimait l’auteur de science-fiction Ted Chiang, notre grande crainte désormais est que le capitalisme utilise la technologie contre nous … Et c’est bien ce qui est en train de se passer, constate Sadowski. La technologie est devenue le lieu d’une concentration du pouvoir capitaliste sans précédent, et le numérique est devenu « l’infrastructure pour faire tout le reste ». Les développements logiciels et matériels impactent désormais toutes les autres pratiques : les voitures sont désormais rien d’autre que des ordinateurs qui roulent.
Nous pensons souvent que le progrès technique implique d’autres formes de progrès : le progrès social, économique, politique ou moral, permettant de faire progresser la liberté, la justice, l’égalité ou l’équité… Mais ce ruissellement du progrès technique vers tous les autres semble être de moins en moins vrai. L’industrialisation en elle-même n’a apporté aucun progrès social, c’est bien la lutte sociale qui a permis de conquérir les congés payés, le droit à l’éducation, la retraite… Pas étonnant alors que le progrès technique devenu le majordome du capitalisme rencontre un scepticisme plus marqué. Les discriminations, les biais (un mot bien neutre pour désigner l’oppression systémique encodée dans les données), le racisme ou le sexisme que le numérique amplifie nous invitent à reconnecter ces problèmes au capitalisme technologique. Mais « la critique technologique ne peut pas être seulement l’ambulance qui arrive toujours après l’accident », nous devons mieux comprendre les enjeux du capitalisme technologique pour le démanteler.
Réconcilier le mécanicien et le luddite
Le problème, c’est que les systèmes recouvrent ce qu’ils font réellement d’un épais voile d’obfuscation. Comprendre ce que les systèmes font est devenu compliqué. Les boîtes noires de l’IA opacifient les traitements comme les clauses de non divulgation opacifient les accords commerciaux. Pour y voir clair, nous devrions chercher à réconcilier les approches critiques, estime Jadowski, à savoir celle du mécanicien, qui connait la machine, et celle du luddite, qui sait pourquoi la machine a été construite et au profit de qui. Le savoir du mécanicien a été supplanté par le savoir de l’ingénieur à mesure que les machines sont devenues plus complexes, comme l’expliquait un article de Brooklyn Rail. Là où le mécanicien restait un artisan, maître des machines, l’ingénieur, lui, est au service de la technologie et du capital : il rationalise et optimise chaque étape de la production. Lieutenant du capital, il est devenu une profession de prestige, quand le mécanicien, lui, a été rétrogradé. Mais le savoir du mécanicien reste celui qui permet de comprendre le fonctionnement et d’y apporter une connaissance critique, fonctionnelle.
Le luddite, lui, s’intéresse aux enjeux de la technologie. Les luddites ne se sont pas tant battus contre la technologie que contre les conditions nouvelles de leur déploiement, c’est-à-dire contre les propriétaires des métiers à tisser qui apportaient avec les machines des conditions économiques transformatives et qui leur étaient peu favorables. Ils n’étaient pas contre l’innovation, rappelle Sadowski, mais bien contre le nouveau modèle économique associé aux machines à lainer qui étaient pourtant utilisées depuis très longtemps dans l’industrie textile comme le pointait l’historien Andrian Randall. Si la destruction des machines est ce que nous avons retenu du mouvement Luddite, cette destruction n’a été que la conséquence de l’impossibilité d’ouvrir la gouvernance démocratique des systèmes, verrouillée par ceux qui avaient le pouvoir et la fortune. “Le droit de refuser est un droit qui paraît toujours radical”, rappelle avec pertinence Sadowski. Or, aujourd’hui encore, nous ne proposons aux gens confrontés aux problèmes technologiques, qu’une « éthique de l’acceptation », c’est-à-dire un ensemble de principes et de promesses qui proposent de créer des politiques pour une innovation responsable, basées sur l’auto-régulation, la réduction des biais et l’amélioration de la précision. « L’éthique est mise au service de la technologie sans menacer le moindre intérêt ». Il y a une absence totale du mot « non » dans les discussions sur l’éthique des données, explique Anna Lauren Hoffmann. On ne cesse de promettre des améliorations, une considération… mais sans que la possibilité de refuser ne soit proposée. Vous ne pouvez que consentir, qu’importe si c’est contre votre gré.
Pour Sadowski, nous devons produire une critique « impitoyable », c’est-à-dire plus coriace qu’elle n’est. Qu’il s’agisse d’IA ou d’instruments financiers, les mécanismes internes de ces systèmes qui exercent un pouvoir démesuré sur la société sont dissimulés par des couches d’opacité. S’ils sont complexes, ils sont bien plus encore « mystifiés by design », c’est-à-dire obscurcit par la technologie, son vocabulaire et sa grammaire dépolitisés. Seule une petite élite comprend et maîtrise leurs fonctionnement et encore moins savent comment ils fonctionnent. Nous sommes privés de notre droit à les contester ou à demander à ce qu’ils fonctionnent autrement. Pourtant, leurs fonctionnements devraient nous êtres clairs. « Le but d’un système est ce qu’il fait », disait avec discernement Stafford Beer. A nous d’observer alors, avec l’art du mécanicien et la compréhension du luddite.
La sainte innovation
Dans le technocapitalisme, l’objet le plus vénéré est sans conteste l’innovation, certainement parce que le capitalisme est le plus efficace des systèmes pour produire de l’innovation capitaliste, ironise Sadowski. Le capitalisme sait parfaitement sélectionner les innovations qui vont lui permettre d’accélérer et d’étendre son emprise, à l’image d’Uber, de Palantir ou de Clearview. Et la Silicon Valley n’est rien d’autre qu’une industrie dédiée à l’accélération de cette emprise. Mais l’innovation n’est pas tant une force de progrès qu’un instrument pour produire du changement social, une arme au service d’une « élite oligarchique qui contrôle les décisions financières et le développement technique » et s’en sert pour produire du changement législatif et social. Les innovateurs n’ont jamais l’intérêt commun en vue : seulement leurs profits.
Ceux qui financent l’innovation financent avant tout des technologies et des développements qui priorisent leurs intérêts et les valeurs sociales qu’ils défendent. Le capital-risque est le mode opératoire qui soutient le modèle d’investissement de la Silicon Valley pour transformer ses idées en profit, comme l’expliquait Tom Nicholas dans son Histoire du capital risque (Harvard University Press, 2019). C’est ce modèle d’investissement qui a rendu possible l’informatique mainframe des années 70, puis l’informatique personnelle, les applications logicielles, l’internet et l’e-commerce des années 90, l’industrie mobile et du web social des années 2000, l’économie collaborative et les plateformes servicielles des années 2010, celle des crypto et de l’IA générative des années 2020 (sans oublier les biotechs depuis les années 80). Sous la pression de ce type de financement, l’investissement s’est transformé : en s’orientant vers des investissements de plus courts termes et à moindre risque, avec des retours sur investissement toujours plus élevés.
Les investisseurs du capital-risque sont les nouveaux gardiens du capital. « Ils s’assurent que l’économie numérique suit leur logique et servent leurs besoins ». « Le capital risque n’est pas qu’une question de maximisation du profit. L’hypercroissance est fondée sur la sélection de plateformes, de technologies, de modèles d’affaires qui peuvent passer à l’échelle d’une manière exponentielle sur une très courte période et qui ont le potentiel de dominer leur marché ». Ils mobilisent dans leur sillon des investisseurs institutionnels, comme les fonds de pension et les fonds universitaires, qui cherchent à faire des profits rapides. Dès les années 70, ils se mobilisent en créant un lobby dédié (la National venture capital association) pour produire des changements législatifs au profit du secteur, permettant de réduire les charges de ce type d’investissement, pour produire des bénéfices plus élevés et moins risqués. Le paysage du financement de l’innovation a considérablement changé avec la montée du capital-risque qui est venu se substituer aux dépenses de R&D ou à la planification. En 2021, le capital risque américain a investi quelque 330 milliards de dollars. « Mais où sont les progrès sociaux ? A-t-on l’impression que le monde s’est amélioré de 330 milliards ou cet argent a-t-il servi à le rendre pire qu’il n’était ? », questionne pertinemment le chercheur.
Mark Fisher parle de Réalisme capitaliste (Entremondes, 2018) pour désigner le fait que le capitalisme nous semble à tous être devenu inévitable, sans alternative. Sadowski, lui, parle du « réalisme de l’innovation ». Le capital-risque est devenu un lobbying politique qui contrôle de surcroît une formidable machine à battage médiatique au profit de ses produits phares. On l’a vu avec le cycle des cryptomonnaies ou du metavers, ou les investissements ont été capables de produire ces pures créations, quand bien même personne n’en voulait. L’investissement technologique ressemble de plus en plus à un casino. « Le cycle des tendances technologiques et des bulles d’investissement semble s’accélérer ». Qu’importent si les innovations, comme le Metavers, ne survivent pas. Le modèle, lui, continue de prospérer : « non pas parce qu’il est le meilleur, mais parce qu’il permet de conserver le capital en mouvement ».
Les investissements s’accompagnent toujours d’un intense lobbying politique pour assouplir les réglementations, comme on l’a vu dans le cas des cryptomonnaies (le nombre de lobbyistes du secteur a triplé depuis 2021, les dépenses également, passant de 2 millions en 2018 à 9 millions de dollars en 2021). Une débauche d’action vise à établir de la légitimité pour des technologies qui opèrent à la limite de la légalité. « Produire de la hype sur une techno est crucial à la croissance de sa valeur – réelle, perçue comme spéculative ». Reste que ces investissements n’ont rien à voir avec la qualité de l’innovation. Au contraire. Si l’investissement se concentre tant sur l’industrie logicielle, rappelle Jathan Sadowski, ce « n’est pas parce que c’est la meilleure innovation ». « C’est d’abord parce que le logiciel n’est pas cher à construire, rapide et facile à faire passer à l’échelle, capable de servir de petits comme de grands marchés, et à moindre risque comparativement à bien d’autres technologies ». Si l’investissement se concentre sur le logiciel, c’est parce que ses qualités promettent de meilleurs retours sur investissement que d’autres formes d’industries.
Pour David Harvey, auteur notamment des Limites du capital (éditions Amsterdam, 2020), le capital fictif désigne de l’argent mis en circulation comme capital sans aucune base matérielle. C’est de l’argent dérivé des droits de propriété, de l’ingénierie financière et de la valorisation spéculative : « c’est de l’argent représenté par des nombres dans un tableur »… Et le capital-risque valorise comme nul autre de l’argent dans des tableurs, puisque le montant réel des investissements réalisés est bien inférieur à la valorisation calculée des startups. Sans compter, rappelle Sadowski, que les technologies numériques ont permis comme nulles autres la financiarisation, comme le shadow banking (wikipédia). Plus qu’un capital fictif, c’est un capital fictionnel qui domine de plus en plus les conditions du réel. L’ingénierie financière permet le développement d’une finance hors sol, du trading haute fréquence aux subprimes responsables de la crise financière de 2008. Le capital-risque est de plus en plus la modalité pour créer et faire circuler cette fiction du capital. Sur les marchés, la valorisation des startups est totalement fictive, toujours fortement surestimée. Les licornes, ces entreprises valorisées à plus d’un milliard de dollars, ne sont assurément pas des créatures magiques, puisqu’elles ne sont rien d’autres que des créations artificielles ingéniées par des capitaux-risqueurs pour faire circuler le capital et l’accroitre.
Les données sont le nouveau capital du technocapitalisme
Le moteur de l’investissement repose quant à lui sur les données. Elles sont des commodités qui peuvent être achetées et vendues sur des marchés. Elles sont une forme de capital que l’on peut miner, c’est-à-dire raffiner et exploiter. Elles sont les ressources du capitalisme technologique, qui doivent continuer à grossir, à se développer pour faire fonctionner la machine. Kroger, l’une des grandes chaînes de supermarché américain, dispose des données de 2 milliards de transactions annuelles de 60 millions de foyers américains. Et ces données sont devenues une nouvelle source de revenus pour l’entreprise qui génère grâce à elles de nouveaux profits, comme l’avait raconté The Markup. Mais les citoyens ne voient rien de ces échanges. Les marchés où s’échangent les données sont cachés, notamment pour maintenir les journalistes, les chercheurs et les régulateurs à distance. Pour Jathan Sadowski, « les données sont une nouvelle forme de capital, au même titre que l’argent et les machines. Et les données sont désormais essentielles à la production, à l’extraction et à la circulation de valeur dans les systèmes numériques ». La surveillance, qui permet de capter et collecter les données, sert à extraire ce capital. « Ce capital de données consiste bien souvent en de discrets bits d’information, en des enregistrements numériques, lisibles par des machines, facilement agrégeables, totalement abstraits, hautement mobiles et socialement précieuses. » En fait, rappelle Sadowski, la circulation des données est devenue une fin en soi… C’est cette circulation même qui produit de la valeur. Le but de cette circulation est de produire un mouvement continu de production de profit. C’est la confidence que faisait Andrew Ng quand il comparait l’IA à l’électricité : dans de grandes entreprises, parfois, on lance des produits non pas pour générer des revenus, mais pour générer des données.
Bien sûr, les acteurs de la régulation tentent de minimiser la collecte voire la circulation des données, quand les acteurs du secteur, eux, plaident pour une maximisation des échanges et de la collecte pour alimenter le pipeline de la surveillance. La datafication consiste à transformer chacun d’entre nous en données. De meilleures capacités de surveillance produisent de meilleurs flux de profit et de pouvoir. « Un monde composé de données est un monde sans sujets » où tout devient objet. Toutes les données sont agrégées pour renforcer profit et pouvoir, à l’image de Palantir ou de la police des frontières américaine.
Les modèles de machine learning sont incompréhensibles, intrinsèquement opaques. « Nous sommes confrontés à des piles de boîtes noires à l’intérieur de boîtes noires », expliquait déjà Frank Pasquale dans Black Box Society (FYP éditions, 2015). Les techno d’IA créent des problèmes systémiques, des fragilités et des échecs que nous ne comprenons pas et que nous ne sommes pas équipés pour nommer. Cette extraction, cette capture et ces traitements de données permet d’assurer et de maintenir un « triforce » : data, calcul et géopolitique, se renforcent les uns les autres, comme le pointaient Amba Kak et Sarah Myers West dans le rapport de l’AI Now Institute de 2023, Face à la puissance technologique. Le business model de l’IA repose sur la force brute, rappelle Sadowski, tant technologiquement qu’économiquement, comme le montre l’intégration de l’IA générative partout, sans que nous n’y ayons consenti. A terme, explique-t-il encore, l’IA promet la fusion du techno-capitalisme et du technonationalisme.
Raj Patel et Jason Moore dans leur livre Comment notre monde est devenu cheap (Flammarion, 2018) expliquaient que la réduction des coûts (c’est-à-dire l’optimisation) est au cœur du capitalisme. La cheapisation dont ils parlent ne consiste pas seulement à rendre les choses peu chères : c’est un ensemble de stratégies pour contrôler les relations entre le capitalisme et le vivant, c’est un ensemble de « processus mobilisés pour transmuter la vie non monnayable en circuits de production et de consommation, dans lesquels ces relations ont le prix le plus bas possible ». Le capitalisme gouverne par le profit et pour l’imposer, il a fallu l’étendre le plus possible et donc étendre le caractère monnayable du monde. Afin de maximiser ses profits, tout l’enjeu a été de ne cesser de diminuer le prix du monde. « Les choses cheap ne sont donc nullement des choses, mais plutôt des stratégies au moyen desquelles le capitalisme gère et surmonte ses crises », progresse, s’étend. « La valeur sociale des objets est supplantée par leur valeur économique lorsqu’ils sont jetés dans le marché, transformés en actifs, soumis aux dynamiques d’échange et broyés par la machine à profit ». L’innovation capitaliste incarnée par le modèle de la Silicon Valley est certainement plus que tout autre un modèle d’innovation à taux zéro, où tout est développé pour être le moins coûteux possible. C’est le cas également des actifs que l’innovation raffine : les données. L’enjeu n’est pas de produire de bonnes données ou des données de qualité (car produire des données de qualité est un processus coûteux), mais d’obtenir des données suffisamment bonnes pour être exploitées. Dès l’origine, cela a été le cas d’ImageNet, qui s’est révélée rapidement techniquement et socialement problématique. Avec le passage au Big Data et à l’IA, la précision, la neutralité et la causalité sont devenues des modalités sans importance, puisque les traitements pouvaient tout prendre en compte. « Plus grandes sont les données, moins vous avez à vous en faire », plus besoin de s’inquiéter de ses origines ou des contenus. Le Too big to fails’applique également aux traitements, pas seulement aux modèles économiques.
Mais, si construire des modèles est excitant, nettoyer les données est ennuyeux. Autant d’éléments qui expliquent que les données aient été rendues bon marché. Et l’IA est une formidable opportunité pour rendre les données encore moins chères, comme le montrait l’analyse des principaux sites digérés par les moteurs les grands modèles de langage sans bourse déliée, ou le passage aux données synthétiques… au risque d’une dégradation sans fin des résultats, avec des modèles de plus en plus autophages. Dans le capitalisme, le cheap l’emporte tout le temps. Qu’importe les biais, les erreurs, les hallucinations… Les données peu chères l’ont emporté.
A l’avenir, les données vont continuer d’être volées. Quant aux données nettoyées, de qualité, malgré leurs vertus, comme le soulignait Kate Crawford, il est probable qu’elles ne reviendront pas, estime Sadowski.
La machine à profit perpétuel : la rente plus que le travail
Comme le turc mécanique en son temps, les systèmes d’IA sont des « illusions techniques conçues pour tromper le public », où le travail humain est invisibilisé pour nous faire croire que les machines fonctionnent d’elles-mêmes. Jathan Sadowski parle d’IA Potemkine pour faire référence aux villages Potemkine (le ministre de Catherine II de Russie faisait bâtir de faux villages pour impressionner l’impératrice lors de ses déplacements) : des outils de façade, qui cachent les humains appelés à agir comme des robots, comme l’on masque les humains dans la surveillance des véhicules autonomes. Partout, dans le domaine de l’IA, on utilise des humains sous couvert d’automatisation. En 2019, un rapport de MMC Ventures cité par le Financial Times avait souligné que sur 2800 startups qui affirmaient utiliser de l’IA dans leurs produits, 60% n’en utilisaient pas. Bien souvent, ironise Sadowski, l’IA annoncée n’est rien d’autre qu’un tableur. A son lancement, Mistral a reçu 105 millions d’euros sans avoir le moindre produit à montrer.
Non seulement les ouvriers de l’IA sont invisibilisés, comme nous le rappelle le Mechanical Turk d’Amazon, mais la technologie elle-même est souvent décrite comme une boîte noire, où ses fonctionnements mêmes sont masqués sous une complexité technique, ambiguë, trompeuse voire mensongère. Le philosophe Byung Chul Han parle lui de Psychopolitique (Circé, 2016) plutôt que d’IA Potemkine, pour décrire une politique qui promeut son propre bénéfice. « Le mode opératoire n’est pas seulement de rendre les gens conformes aux commandements, mais plus encore de les rendre dépendants des systèmes ». Le pouvoir qui opère d’une manière séductrice plutôt que répressive est difficile à reconnaître comme un pouvoir, rappelle Sadowski.
L’IA promet de résoudre les problèmes du capital par une croissance sans limites en développant des outils à son service, en promettant d’éliminer les coûts du travail. Avec l’IA, le capital cherche à construire une « machine à profit perpétuel », explique le géographe David Harvey dans Seventeen Contradictions and the End of Capitalism (Profile Books, 2015), qui cherche à capturer la valeur sans le travail. Mais plus que de faire disparaître le travail, l’enjeu est de le réorganiser pour en comprimer le moindre coût, par exemple en l’externalisant à l’autre bout du monde.
En vérité, pourtant le travail humain est plus central et plus concentré que jamais. Dans un de ses articles, le sociologue Martin Krzywdzinski montre ainsi que Toyota, l’entreprise la plus efficace du monde, enlève des robots de ses chaînes d’assemblages pour améliorer la flexibilité et la réactivité des travailleurs humains : moins de 10% de la chaîne d’assemblage de Toyota est automatisée. La machine à profit perpétuel vise bien à plus à accélérer, optimiser et concentrer la productivité humaine sous le contrôle des machines qu’à nous remplacer par la technologie.
Le modèle économique des plateformes et services en ligne demeure un modèle d’extraction de rentes, rappelle Sadowski. Tous visent à rendre des secteurs entiers dépendants des services technologiques qu’ils fournissent, en transformant leurs clients en locataires. Les interactions sociales comme les transactions économiques sont transformées partout en services, en actifs. L’objectif est de tout transformer en ressources pour générer des revenus sans jamais concéder de propriété. Le but des plateformes de rente consiste à devenir des monopoles pour contrôler toutes les conditions de création de valeur (comme quand Zoom ou Adobe, parmi d’autres, tentent de changer leurs conditions d’utilisation à leur profit). Pour cela, les entreprises du numériques utilisent les Conditions générales d’utilisation, ces contrats unidirectionnels et non négociables, pour s’arroger l’essentiel des droits. CGU que nous devons les accepter « non pas tant pour que ces entreprises obtiennent notre consentement actif, mais bien plus pour sécuriser notre conformité passive ».
Mais ce ne sont pas seulement les plateformes qui produisent des rentes, c’est « le système technique numérique tout entier désormais qui est devenu la nouvelle source de rentes. L’internet est l’infrastructure de relations de rentes, le nouveau mécanisme de l’extraction et de la capture », comme l’expliquait Sadowski lui-même. L’utilisateur ne possède plus rien, pas plus sa brosse à dent connectée que son interphone vidéo, pas plus les données que les programmes. Les propriétaires s’arrogent tous les pouvoirs, comme la mise à disposition des données à des tiers ou le changement des conditions unilatéralement.
La rente est devenue le modèle que toutes les industries copient. Les plateformes permettent de maximiser les profits tout en minimisant les droits des utilisateurs. Sous couvert d’innovation, ce à quoi on assiste, c’est d’abord à une expropriation de tous puisque nous ne pouvons plus être propriétaires de rien.
De la mécanique stochastique : la gestion du risque est devenue la modalité politique du monde moderne
La partie la plus stimulante du livre de Jathan Sadowski est assurément sa réflexion sur l’avènement de la probabilité, en passe de devenir la modalité unique d’organisation et de domination du technocapitalisme. Les secteurs qui ont pris les rênes du technocapitalisme comme la finance, l’assurance, ou les technologies pour les propriétaires sont les secteurs experts de la gestion du risque. Des systèmes acturiaux aux scores de risques en passant par les algorithmes prédictifs, partout, l’évaluation du risque est devenue LA métrique. Ces « mécaniques stochastiques », c’est-à-dire statistiques, probabilistes, ont pris le contrôle. Pas étonnant que l’IA, qui n’est elle-même que le chef d’œuvre d’un traitement statistique à très grande échelle, soit le parangon moderne de cet accomplissement.
Scientifiquement, le risque consiste à comprendre la probabilité d’un événement dans les distributions aléatoires. A l’échelle individuelle, le risque d’avoir un accident de voiture est parfaitement aléatoire. Mais à l’échelle de populations, on peut découvrir des schémas et des fréquences. « Quand le risque est opérationnalisé dans des systèmes (marchés financiers, modèles actuariels, sécurité nationale, politiques de régulation…) l’aléatoire est recadré en problème à résoudre plutôt que traité comme des limites au pouvoir ». Ces techniques ont conduit à produire des méthodes de gestion adaptées : c’est-à-dire des formes de gouvernance du risque. Les risques sont devenus ce qu’il faut gérer, maîtriser. Ils sont à la fois la raison d’être des systèmes de gouvernance et leur justification, c’est-à-dire la raison pour laquelle on les construit, on les renforce. « Le risque est devenu à la fois le moyen et la fin de la gouvernance ».
Foucault le disait déjà. La puissance et la connaissance ne sont pas des choses séparées, mais ont des relations symbiotiques entre elles. Connaître le monde consiste à exercer du pouvoir sur lui, et exercer du pouvoir sur lui, c’est le connaître. La gouvernance est un concept hybride, une fusion des pratiques politiques et d’affaires, explique la professeure de sciences politiques Wendy Brown dans Défaire le dèmos (Amsterdam, 2018). Pour Brown, la gouvernance consiste à remplacer les questions politiques par des logiques financières. Et cela a été accompli en important les modèles, les métriques, les valeurs, les concepts et les tactiques des secteurs de la gestion du risque à l’intérieur de toutes les sphères sociopolitiques. « Le risque est un concept puissant pour la gouvernance car il vient habillé de toute la neutralité, l’autorité et la mystique de l’expertise technocratique, tout en étant suffisamment flexible pour être adapté et s’appliquer largement ».
« Nous évaluons d’abord le risque à l’aide de systèmes d’analyse, d’évaluation et de modélisation. Ensuite, nous le gérons grâce à des systèmes de surveillance, de réglementation et d’atténuation. Enfin, nous l’inventons grâce à des systèmes de prévision, de contrôle et d’intervention. À chaque étape, l’accent est mis sur le processus technique d’analyse, de surveillance ou de contrôle du risque plutôt que sur le contenu politique de sa définition et de son identification, ou sur les raisons pour lesquelles le risque constitue la meilleure, voire la seule option, pour encadrer les choses. Cette myopie est une caractéristique essentielle de la gouvernance des risques en tant que forme d’anti-politique. Le risque offre une façon de faire de la politique en éliminant et en refusant tout ce qui est politique de ce qui est analysé. (…) Les stratégies de dépolitisation que produisent l’analyse par les risques permettent d’intégrer de la rationalité économique dans tous les domaines de la société et de la vie. En définitive, les détails les plus fondamentaux de la gouvernance du risque – l’identification du risque, la motivation de la gouvernance, la justification du pouvoir, la priorisation des valeurs, la répartition des résultats – ne sont plus sujets à débat. Les enjeux sont tous laissés aux experts. »
La gestion du risque est mise en pratique notamment dans deux enjeux majeurs de nos sociétés : le changement climatique et l’intelligence artificielle, remarque très pertinemment Jathan Sadowski. La question climatique est souvent traitée comme un enjeu de « dérisquisation de l’Etat », c’est-à-dire un enjeu à minimiser le risque du secteur privé – ce que l’économiste Daniela Gabor désigne sous le terme de consensus de Wall Street. Ici, le rôle des autorités consiste à réduire les risques économiques des investissements privés en créant des garanties aux profits des investisseurs en les protégeant des risques politiques. Le but du derisking, c’est-à-dire de la minimisation des risques, est d’établir des conditions favorables (c’est-à-dire profitables) pour le capital privé tout en créant des projets d’investissements pour attirer les investissements. De même, réguler le risque des innovations émergentes est essentiel. L’approche principale pour réguler les technologies comme l’IA aux Etats-Unis ou en Europe s’applique à identifier, trier et atténuer les risques de l’IA non pas tant pour les utilisateurs que pour les entreprises qui les déploient.
Mais qui établit les protocoles d’identification des risques ? Comment sont définis les niveaux de risques définis ? Quelles formes d’atténuation sont établies et dans quels buts ? Quelles alternatives sont laissées de côté ? « En considérant la régulation des systèmes d’IA comme une régulation des risques, les décideurs politiques adoptent, consciemment ou non, une position normative sur l’IA », observe la juriste Margot Kaminski. Cette position est également un choix qui privilégie et intègre des cadres, des valeurs et des résultats spécifiques à la technologie, et renonce à des formes de régulation qui privilégieraient les droits individuels, les avantages sociaux ou le principe de précaution.
« Si certains aspects de la réglementation des risques peuvent être efficaces pour atténuer certains préjudices, écrit Kaminski, cette approche de la réglementation met toujours l’accent sur des types spécifiques de préjudices en raison de la nature du risque. Ces préjudices doivent être quantifiables pour pouvoir être intégrés aux analyses statistiques et aux modèles financiers, ce qui conduit à négliger les préjudices qui ne sont pas facilement chiffrables sur une feuille de calcul. Ces préjudices sont souvent axés sur l’avenir, de sorte qu’ils peuvent être calculés en termes de probabilités qu’un événement se produise, ce qui écarte des préjudices déjà normalisés dans la société. Ces préjudices sont fondés sur les dangers posés aux personnes et aux populations qui correspondent au profil d’une personne moyenne – généralement un homme adulte blanc – ce qui minimise ou ignore ceux qui s’écartent de ce repère normatif. Ces préjudices sont également pris en compte au niveau agrégé, ce qui signifie que des impacts significatifs sur les individus peuvent être totalement masqués dans les données, largement sous-estimés par des choix coûts-avantages et inégalement répartis au sein de la société.
De plus, la réglementation des risques suppose généralement qu’une technologie sera adoptée malgré ses préjudices. Les causes de ces risques et préjudices – comme les entreprises qui construisent et déploient rapidement des systèmes d’IA pour diverses applications, sans véritable supervision, responsabilité ni précaution – sont traitées comme des conditions statistiques qui ont déjà eu lieu, qui ne peuvent être modifiées et qui doivent servir de point de départ à toute réponse. Autrement dit, la gouvernance des risques transforme le public en concierges chargés de nettoyer les dégâts causés par les entreprises, les armées, les forces de police et autres acteurs qui préfèrent tirer d’abord et ne jamais poser de questions ensuite. Le principe par défaut est de permettre au capital d’innover sans avoir à demander la permission – ou du moins d’avancer avec le moins de garde-fous possible. Le mieux que nous puissions faire – tout comme dans l’exemple du changement climatique – est de réduire les risques liés à ces innovations en encourageant une culture de responsabilité au sein des entreprises et en établissant des systèmes sociaux qui internalisent les coûts des investissements privés. »
« Le risque est un concept moderne qui a coévolué avec le secteur de l’assurance et ses modèles actuariels d’analyse, de projection et de tarification des résultats probables d’événements futurs en fonction des expériences passées et des conditions présentes. Cela confère aux régimes de gouvernance des risques une aura de rigueur technique. Ils sont dépolitisés par conception. Ces caractéristiques en font des outils évidents pour faire face à la complexité et à l’incertitude des technologies émergentes. Pourtant, ces approches ne vident pas la gouvernance des risques de son contenu politique. Elles se contentent d’enterrer le politique, rendant invisibles ces choix chargés de valeurs, brouillant les liens de causalité entre décisions, actions et effets, présentant leurs conséquences comme des compromis inévitables et produisant les conditions sociales qui soutiennent des formes spécifiques de savoir et de pouvoir. »
« L’analyse des risques offre la promesse de prédire l’avenir. C’est pourquoi le risque est devenu un outil si puissant et précieux pour le capitalisme technologique. »
« Dans de nombreux systèmes où l’analyse des risques se transforme en pouvoir matériel, l’incertitude stochastique est balayée. L’analyse scientifique des probabilités, avec ses larges marges d’erreur et de doute, se transforme en application technique de modèles prédictifs visant la précision. » Comme le dit la géographe Louise Amoore dans Cloud Ethics (Duke Press, 2020) : « Les processus et les arrangements de pondérations, de valeurs, de biais et de seuils dans les réseaux neuronaux ne relèvent pas, je crois, de notre champ politique statutaire. Pourtant, je suggère qu’ils doivent être présentés comme des questions et des revendications politiques dans le monde. »
« Au lieu de cela, toute cette immense complexité – technologique, politique, réelle – est remplacée par le score de risque. Arme ultime de la gouvernance du risque, le score prouve que le nombre est un véritable pouvoir. Surtout lorsque ces chiffres sont décontextualisés, revêtus du sceau de l’autorité technocratique et déployés comme des solutions simples à des problèmes complexes. Les scores de risque sont désormais des technologies de gouvernance omniprésentes, en grande partie parce qu’ils constituent des données facilement manipulables comme une massue par les individus et les institutions qui sont en première ligne de l’exercice du pouvoir dans la société. »
« Les scores de risques ont ainsi acquis réellement un impact sur nos vies et façonnent les structures sociales de manière significative. Les révéler est devenue une tâche impossible tant ils sont omniprésents, mais aussi parce que l’existence et le fonctionnement d’un grand nombre d’entre eux sont cachés par leurs créateurs et utilisateurs. Cette opacité endémique montre qu’ils relèvent d’un processus extrêmement politique. Si ces scores étaient objectifs et purement scientifiques, nul ne se donnerait la peine de les obscurcir. »
« Nombre des décisions les plus importantes prises par la police, les services frontaliers ou l’armée sont prises à l’aide – voire en grande partie sous-traitées – d’un arsenal diversifié de scores de risque, dont beaucoup sont créés par des entreprises privées puis vendus comme services exclusifs aux agences gouvernementales. L’objectif de la quantification de l’évaluation des risques est de transformer des jugements jusqu’alors subjectifs et discrétionnaires en calculs qui semblent plus objectifs et standardisés. Si certains outils peuvent être simples à comprendre, de nombreuses méthodes de production de scores s’appuient sur des algorithmes qui absorbent des quantités massives de données sur des sujets très divers, des statistiques de criminalité aux phases lunaires, et les synthétisent en un chiffre unique destiné à identifier les personnes considérées comme une menace pour la sécurité et à déterminer le comportement des agents face à une situation donnée. »
Par exemple, les services de police américains ont mis en place un logiciel appelé Beware pour générer des scores de menace personnalisés concernant une personne, une adresse ou une zone. Ce logiciel prétend fonctionner en traitant des milliards de données, notamment des rapports d’arrestation, des registres fonciers, des bases de données commerciales, des recherches sur le web profond et les publications de la personne sur les réseaux sociaux, rapporte le Washington Post. « Les scores sont codés par couleur afin que les agents puissent connaître d’un coup d’œil le niveau de menace d’une cible : vert, jaune ou rouge. La différence fondamentale entre un score vert et un score rouge est un mystère pour l’agent, mais elle peut faire toute la différence entre un agent qui lance un contrôle routier avec un sourire amical ou qui, le doigt sur la gâchette, est prêt à engager le combat. »
Mais surtout, rappelle Sadowski : « les gens ne doivent pas savoir pourquoi ils sont signalés par des systèmes d’analyse de risque automatisés ». La sociologue Barbara Kiviat dans son étude sur le score de crédit dans la fixation des prix des assurances rappelle : « la prédiction algorithmique est imprégnée de points de vue normatifs, qui répondent aux objectifs des entreprises. L’utilisation de systèmes de notation basés sur les données pour la classification des risques s’inscrit dans la longue histoire du secteur, qui a créé toutes sortes de méthodes scientifiques pour justifier moralement ses propres intérêts et actions », comme le montraient les ouvrages des historiens Dan Bouk, How Our Days Became Numbered: Risk and the Rise of the Statistical Individual (University of Chicago Press, 2015) et Caley Horan, Insurance Era: Risk, Governance, and the Privatization of Security in Postwar America (University of Chicago Press, 2021).
« Nombre des décisions les plus importantes prises par les services sociaux, les organismes d’aide sociale et les programmes d’assistance publique sont prises à l’aide – voire en grande partie sous-traitées – d’un arsenal diversifié d’indices de risque. Ces derniers comptent parmi les outils les plus insidieux de la gouvernance néolibérale actuelle et reconfigurent le fonctionnement des services sociaux pour l’adapter à des logiques financières. Plutôt que d’identifier ceux qui ont le plus besoin d’aide, ces institutions utilisent les indices de risque pour identifier ceux qui représentent les menaces les plus dangereuses pour le système : les fraudeurs potentiels. »
« Ces technologies sont conçues pour éviter (ou générer) les faux négatifs : mieux vaut refuser l’aide à mille personnes dans le besoin que de laisser passer un seul escroc indigne de l’aide sociale. À cette fin, les services sociaux publics du monde entier ont mis en œuvre des formes de gouvernance des risques parmi les plus rigoureuses, qui traitent les populations déjà défavorisées comme des menaces qu’il faut identifier, suivre, gérer, enquêter et neutraliser. » C’est ce que montraient les nombreuses enquêtes sur les services sociaux, notamment l’exemple néerlandais analysé par Lightouse Reports : le but de ces systèmes n’est pas de trouver qui a besoin d’aide, mais de discriminer ceux qui tentent de recevoir de l’aide. Malgré qu’ils soient extrêmement complexes et qu’ils étendent des formes de discrimination, ces systèmes sont aussi terriblement simplistes et arbitraires dans leurs décisions. Ils ne font pas bien mieux que l’aléatoire, disait Lightouse Reports en produisant des discriminations flagrantes (et illégales) depuis des facteurs simples comme l’origine ethnique, le genre et le handicap. Dans ces systèmes de risques, être pauvre et demander de l’aide est un comportement à haut risque qui déclenche enquêtes sociales, enquêtes de police et interventions administratives. Julia Dressel et Hany Farid ont montré que Compas, n’est pas plus précis ou équitable qu’une prédiction de bistrot. Et « l’augmentation de la complexité n’améliore pas la précision de ces systèmes, mais amplifie leur autorité sociale en racontant comment il vous donnera accès à des informations précises, neutres et quasi divines sur le monde. Plus de données ne signifie pas plus de connaissances, mais cela peut signifier plus de pouvoir si vous convainquez les gens que les scores de risque sont des vérités prédictives prêtes à être utilisées pour une action immédiate ».
Dans trop de cas, avance Sadowski, comme le proposait également Arvind Narayanan, il semble que l’échantillonnage aléatoire constituerait en réalité une amélioration significative par rapport aux scores de risque, dont il a été prouvé qu’ils sont systématiquement inexacts et socialement biaisés, et qu’ils conduisent à toutes sortes de discriminations injustes. « Ces technologies excellent dans la reconnaissance de formes, mais elles sont aussi des machines à renforcer les formes. Elles extraient des données du passé et les transforment en décisions pour l’avenir. Les dés technologiques ont été truqués depuis longtemps pour favoriser certains intérêts sociaux, écrit le philosophe Langdon Winner. Je préfère être jugé par un tirage au sort plutôt que par des dés pipés. »
« Il est difficile de résister à l’attrait d’une technologie qui offre le vernis d’une autorité objective et l’utilité de réduire des événements complexes à un seul chiffre, voire à une seule couleur. »
Sadowki rappelle l’histoire de l’assurance en convoquant l’historien Dan Bouk qui expliquait les limites de sa promesse de calculer un risque toujours plus individualisé en ségrégant le risque en d’innombrables catégories. L’idée ou le but a toujours été d’appliquer des risques statistiques sur chaque individu, afin d’affiner, d’augmenter, de renforcer les principes de fixation des prix. Mais ce que cela produit, c’est des méthodes avancées pour la ségrégation sociale, les discriminations tarifaires et l’hyperpersonnalisation, disait déjà Greta Krippener. L’intensification de ces pratiques a fini par être transformatif. Pour Colm Holmes, président d’Aviva et d’Allianz, le risque est de créer des gens qui n’ont pas besoin d’assurance et des gens qui ne sont pas assurables. Oubliant que l’assurance ne fonctionne que du fait de l’incertitude.
« Les scores produisent un réductionnisme technocratique en pratique ». Pour les assureurs et les financiers, le seul but est de mettre un prix au risque et de le faire de manière profitable ce qui suppose de transformer les qualités en quantités, en chiffres. Sadowski, rappelle qu’il est difficile de combattre toutes les pratiques d’optimisation (des prix, comme des réclamations… ). Et assène : « l’optimisation est un euphémisme industriel pour désigner la discrimination ». Le problème, c’est qu’elle a des effets régressifs : les personnes les plus vulnérables et déjà défavorisées – par exemple, les plus pauvres, les plus âgées, les moins instruites ou les personnes de couleur – se retrouvent également dans une situation où elles n’ont d’autre choix que d’accepter des prix plus élevés et des indemnisations plus faibles. « L’intégration de l’apprentissage automatique dans l’assurance rend ces tactiques discriminatoires plus puissantes, plus répandues et plus difficiles à démasquer. Désormais, ces pratiques – et les données sensibles sur lesquelles elles reposent – peuvent être blanchies grâce à l’opacité de l’apprentissage automatique, offrant ainsi aux actuaires humains un démenti plausible lorsque la discrimination et la tromperie sont découvertes. »
Pour Jathan Sadowski, « le risque n’est pas une mesure objective des phénomènes naturels et des schémas mathématiques ». Il ne repose même pas toujours ni entièrement sur l’analyse scientifique des processus stochastiques et des propriétés émergentes. « Il est créé par les régimes mêmes qui le calculent et le gouvernent. Il est le produit de systèmes technopolitiques et d’intérêts socio-économiques, et il est instrumentalisé pour les servir. Il est créé, encadré, conçu, tarifé, déplacé et déployé de manières spécifiques pour agir sur le monde. Le risque fait partie intégrante des opérations de pouvoir, de données et de valeur dans le capitalisme ».
Dans son livre How Our Days Became Counted, l’historien Dan Bouk détaille comment le secteur de l’assurance a non seulement créé des méthodes d’analyse statistique, mais a également contribué à créer une culture où il était logique de concevoir les individus et les sociétés comme des nombres à suivre, analyser, prédire et gérer afin de se prémunir contre des risques (in)certains. C’est un processus que Bouk appelle « créer le risque » : « avec la généralisation de l’assurance, le risque a acquis une définition plus précise : il est devenu une sorte de marchandise ».
Les modes de production, d’achat et de vente du risque ont évolué à maintes reprises au cours des cent dernières années, à mesure que de nouveaux moyens de production et d’échange se développaient pour garantir que le risque demeure une source fiable de profit et de pouvoir pour le capital et les États. À l’apogée du capitalisme industriel américain, le risque était perçu comme une affaire intrinsèquement collective, calculable uniquement comme une propriété de groupes, comme l’explique la sociologue Greta Krippner. Cette conception est la base des traditions de bien-être mutuel qui traitent le risque comme un fardeau et la sécurité comme un avantage qui devrait être partagé équitablement entre l’ensemble du groupe. « Mais la collectivisation du risque a également été directement codifiée dans les institutions juridiques, sociales et culturelles par le capital de manières très spécifiques. Alors que le nombre d’accidents du travail, de blessures et de décès de travailleurs montait en flèche au début des années 1900, les capitalistes ont soutenu des notions de risque qui dépersonnalisaient ces incidents et socialisaient toute responsabilité pour leurs conditions, leurs causes et leurs conséquences. De nouvelles méthodes de collecte de données statistiques ont montré qu’il y avait une régularité écrasante des accidents du travail sur les lieux de travail. La conclusion tirée par les entreprises et le gouvernement était que ces dangers étaient inévitables et naturels, une triste réalité de la société industrielle et le prix du progrès ; il fallait la « gérer », mais elle ne pouvait jamais être changée ». Comme l’explique Krippner : « Le calcul du risque ne cherchait plus à appréhender des expériences particulières de blessures et de décès, mais s’efforçait plutôt de décrire la fréquence des accidents du travail dans la population globale. L’attention se concentrait non pas sur les circonstances particulières qui déterminaient la manière dont une personne était blessée, mais sur le nombre total de travailleurs blessés sur une période donnée, quelles que soient les circonstances. L’objectif de ces nouvelles technologies de gestion du risque n’était pas d’enquêter sur des accidents déjà survenus afin d’en attribuer la responsabilité, mais plutôt de prédire (et éventuellement de prévenir) les accidents futurs afin de pouvoir en répartir et en gérer les coûts. Cette notion de risque était abstraite, sa méthode actuarielle et sa signification démoralisée ».
Cette vision du risque persiste encore largement aujourd’hui. Cependant, elle a également été remodelée par les avancées du capitalisme, estime Jadowski. Les caractéristiques du risque comme inévitabilité collective, qui se sont imposées dans le capitalisme industriel, coexistent désormais avec les approches du risque nées avec le capitalisme financier. Et le capitalisme technologique produit des innovations dans le domaine, comme l’assurance comportementale qui consiste à capturer des données sur le comportement des consommateurs (ou les activités, les choix et les modes de vie des assurés). Via des capteurs, comme ceux qui surveillent votre condition physique ou votre style de conduite, l’assurance comportementale vise à analyser et à évaluer avec précision le comportement des consommateurs. Elle intègre ensuite ces données dans des aspects clés de l’entreprise, comme le développement de produits, les campagnes marketing, la tarification des primes et le traitement des sinistres, tout en espérant « atteindre le Saint Graal de la gestion des risques : modifier activement le comportement des consommateurs pour s’assurer qu’ils mènent une vie moins risquée ». À la base de cette approche se trouve une théorie qui établit des liens de causalité directs entre les comportements individuels, les facteurs de risque et les résultats spécifiques. Au-delà de la simple affirmation que « les comportements sont des variables clés à prendre en compte ou à traiter », cette théorie du risque pousse à la conclusion plus extrême que seuls les choix personnels comptent ; les conditions externes et les structures sociales n’en ont pas. La responsabilité ultime du risque et de ses conséquences incombe aux individus et à leurs choix contrôlables. D’où l’orientation toujours plus forte sur les usages personnels, les petits gestes, le renvoi des utilisateurs à leur responsabilité.
Si les conceptions du risque ont évolué, le test ultime que tout système de gouvernance du risque doit réussir est pragmatique : « est-il efficace pour générer du profit et du pouvoir ? »
Le secteur de la prédiction du risque est animé par la grande ambition d’être le gardien de l’avenir supervisant chacun de nos mouvements et nous protégeant des aléas stochastiques de la vie. L’industrie justifie sa position parmi les institutions les plus omniprésentes et les plus puissantes de la société en se présentant comme un agent de progrès social qui utilise son expertise technocratique en analyse des risques pour intervenir et gouverner pour le mieux. Mais cet impératif moral ne va pas plus loin que les limites financières le permettent. Le capital est contraint de classer, hiérarchiser et exclure les individus de manière de plus en plus granulaire. Si notre profil de risque s’écarte trop de la norme de rentabilité, nous sommes alors abandonnés aux aléas du hasard. « Certains prennent des risques ; d’autres doivent les assumer. » Mais au final, certains assument toujours les risques que d’autres prennent parce qu’ils les prennent contre les premiers.
Hubert Guillaud
