Pour Jacobin, l’économiste britannique Giorgos Galanis convoque le récent livre de l’économiste Maximilian Kasy, The Means of Prediction: How AI Really Works (and Who Benefits) (Les moyens de prédictions : comment l’IA fonctionne vraiment (et qui en bénéficie), University of Chicago Press, 2025, non traduit), pour rappeler l’importance du contrôle démocratique de la technologie. Lorsqu’un algorithme prédictif a refusé des milliers de prêts hypothécaires à des demandeurs noirs en 2019, il ne s’agissait pas d’un dysfonctionnement, mais d’un choix délibéré, reflétant les priorités des géants de la tech, guidés par le profit. Pour Maximilian Kasy de tels résultats ne sont pas des accidents technologiques, mais les conséquences prévisibles de ceux qui contrôlent l’IA. « De même que Karl Marx identifiait le contrôle des moyens de production comme le fondement du pouvoir de classe, Kasy identifie les « moyens de prédiction » (données, infrastructure informatique, expertise technique et énergie) comme le socle du pouvoir à l’ère de l’IA ». « La thèse provocatrice de Kasy révèle que les objectifs de l’IA sont des choix délibérés, programmés par ceux qui contrôlent ses ressources pour privilégier le profit au détriment du bien commun. Seule une prise de contrôle démocratique des moyens de prédiction permettra de garantir que l’IA serve la société dans son ensemble et non les profits des géants de la tech ».
Les algorithmes ne sont pas programmés pour prédire n’importe quels résultats. Les plateformes de médias sociaux, par exemple, collectent d’énormes quantités de données utilisateur pour prédire quelles publicités maximisent les clics, et donc les profits attendus. En quête d’engagement, les algorithmes ont appris que l’indignation, l’insécurité et l’envie incitent les utilisateurs à faire défiler les publications. D’où l’envolée de la polarisation, des troubles anxieux et la dégradation du débat… « Les outils prédictifs utilisés dans le domaine de l’aide sociale ou du recrutement produisent des effets similaires. Les systèmes conçus pour identifier les candidats « à risque » s’appuient sur des données historiques biaisées, automatisant de fait la discrimination en privant de prestations ou d’entretiens d’embauche des groupes déjà marginalisés. Même lorsque l’IA semble promouvoir la diversité, c’est généralement parce que l’inclusion améliore la rentabilité, par exemple en optimisant les performances d’une équipe ou la réputation d’une marque. Dans ce cas, il existe un niveau de diversité « optimal » : celui qui maximise les profits escomptés ».
Les systèmes d’IA reflètent en fin de compte les priorités de ceux qui contrôlent les « moyens de prédiction ». Si les travailleurs et les usagers, plutôt que les propriétaires d’entreprises, orientaient le développement technologique, suggère Kasy, les algorithmes pourraient privilégier des salaires équitables, la sécurité de l’emploi et le bien-être public au détriment du profit. Mais comment parvenir à un contrôle démocratique des moyens de prédiction ? Kasy préconise un ensemble d’actions complémentaires comme la taxation des entreprises d’IA pour couvrir les coûts sociaux, la réglementation pour interdire les pratiques néfastes en matière de données et la création de fiducies de données, c’est-à-dire la création d’institutions collectives pour gérer les données pour le compte des communautés à des fins d’intérêt public.
Ces algorithmes décident qui est embauché, qui reçoit des soins médicaux ou qui a accès à l’information, privilégiant souvent le profit au détriment du bien-être social. Il compare la privatisation des données à l’accaparement historique des biens communs, arguant que le contrôle exercé par les géants de la tech sur les moyens de prédiction concentre le pouvoir, sape la démocratie et creuse les inégalités. Des algorithmes utilisés dans les tribunaux aux flux des réseaux sociaux, les systèmes d’IA façonnent de plus en plus nos vies selon les priorités privées de leurs créateurs. Pour Kasy, il ne faut pas les considérer comme de simples merveilles technologiques neutres, mais comme des systèmes façonnés par des forces sociales et économiques. L’avenir de l’IA ne dépend pas de la technologie elle-même, mais de notre capacité collective à bâtir des institutions telles que des fiducies de données pour gouverner démocratiquement les systèmes. Kasy nous rappelle que l’IA n’est pas une force autonome, mais une relation sociale, un instrument de pouvoir de classe qui peut être réorienté à des fins collectives. La question est de savoir si nous avons la volonté politique de nous en emparer.
Dans une tribune pour le New York Times, Maximilian Kasy explique que la protection des données personnelles n’est plus opérante dans un monde où l’IA est partout. « Car l’IA n’a pas besoin de savoir ce que vous avez fait ; elle a seulement besoin de savoir ce que des personnes comme vous ont fait auparavant ». Confier à l’IA la tâche de prendre des décisions à partir de ces données transforme la société.
« Pour nous prémunir contre ce préjudice collectif, nous devons créer des institutions et adopter des lois qui donnent aux personnes concernées par les algorithmes d’IA la possibilité de s’exprimer sur leur conception et leurs objectifs. Pour y parvenir, la première étape est la transparence. À l’instar des obligations de transparence financière des entreprises, les sociétés et les organismes qui utilisent l’IA devraient être tenus de divulguer leurs objectifs et ce que leurs algorithmes cherchent à maximiser : clics publicitaires sur les réseaux sociaux, embauche de travailleurs non syndiqués ou nombre total d’expulsions », explique Kasy. Pas sûr pourtant que cette transparence des objectifs suffise, si nous n’imposons pas aux entreprises de publier des données sur leurs orientations.
« La deuxième étape est la participation. Les personnes dont les données servent à entraîner les algorithmes – et dont la vie est influencée par ces derniers – doivent être consultées. Il faudrait que des citoyens contribuent à définir les objectifs des algorithmes. À l’instar d’un jury composé de pairs qui instruisent une affaire civile ou pénale et rendent un verdict collectivement, nous pourrions créer des assemblées citoyennes où un groupe représentatif de personnes choisies au hasard délibère et décide des objectifs appropriés pour les algorithmes. Cela pourrait se traduire par des employés d’une entreprise délibérant sur l’utilisation de l’IA sur leur lieu de travail, ou par une assemblée citoyenne examinant les objectifs des outils de police prédictive avant leur déploiement par les agences gouvernementales. Ce sont ces types de contre-pouvoirs démocratiques qui permettraient d’aligner l’IA sur le bien commun, et non sur le seul intérêt privé. L’avenir de l’IA ne dépendra pas d’algorithmes plus intelligents ou de puces plus rapides. Il dépendra de qui contrôle les données et de quelles valeurs et intérêts guident les machines. Si nous voulons une IA au service du public, c’est au public de décider de ce qu’elle doit servir ».