Les presses du MIT publient ce jour le nouvel ouvrage de Ben Green, Algorithmic Realism : Data Science Practices to Promote Social Justice. Ben Green, on vous a déjà parlé de lui. En 2019, on avait longuement évoqué son précédent livre, The smart enough city, où il revenait sur son expérience de data scientist dans plusieurs villes américaines. Green plaidait déjà pour améliorer la responsabilité sociale des technologies, à l’épreuve des pratiques concrètes des responsables de l’innovation urbaine promouvant une innovation démocratique.
C’est ce chemin qu’il poursuit dans son nouveau livre, qui n’est pas un essai, mais un manuel à destination des responsables des données. Il rappelle que depuis qu’il est diplômé, il n’a cessé d’essayer d’appliquer la data science pour créer une société plus équitable. Mais avoir un impact positif s’est avéré bien plus difficile qu’espéré. A Memphis, par exemple, les outils qu’il avait participé à mettre au point pour aider la ville à identifier des logements à rénover ont été abandonnés après le départ de l’équipe qui les avait développé. Malgré ces expériences pas toujours concluantes, il s’est rendu compte que pour avoir un impact, il était nécessaire de désapprendre beaucoup de certitudes et d’habitudes que sa formation en data science lui avait enseigné. A Boston, par exemple, il devait travailler avec les services d’urgence pour trouver des stratégies pour améliorer la rapidité d’intervention. Or, plutôt que de trouver une astuce pour mieux répartir les ambulances dans la ville, Green a constaté dans les données, que l’essentiel des déplacements n’étaient pas nécessairement un besoin de soins médicaux d’urgence, mais une demande de services sociaux que les services d’urgence n’étaient pas en mesure de fournir mais accomplissaient quand même. Avec les services d’urgence, il a alors proposé de créer une équipe dédiée. Une réponse d’autant plus adaptée que les interventions auprès des publics en difficultés, des toxicos et des SDF, ou de ceux souffrant de problèmes de santé mentale, se concentraient sur certains quartiers sensibles, avec un pic en fin d’après-midi et en début de soirée. La création d’une équipe d’assistance communautaire a ainsi permis de répondre à la demande initiale. Elle a permis d’apporter de meilleurs soins à des publics en difficulté et elle a libéré des ambulances pouvant répondre plus rapidement lors de prises en charges médicales urgentes. Cette expérience a été fondatrice. Elle lui a enseigné trois tactiques qu’il applique depuis à tous les projets qu’il rencontre. D’abord, étudier en profondeur les défis sociaux et opérationnels des services avant d’analyser la moindre donnée. La seconde consiste à se concentrer sur les besoins exprimés pour produire des impacts réels et pas seulement des solutions algorithmiques. Pour Green, les analyses de données les plus sophistiquées ne conduisent pas à de meilleurs impacts. Les résultats de la science des données doivent être choisis en fonction de leur capacité à faire progresser les objectifs du projet, peu importe leur simplicité ou leur complexité. Le troisième enseignement, c’est qu’un data scientist isolé ne sert à rien. Améliorer les politiques publiques avec la data science nécessite des activités qui ne relèvent pas de la data science. « Pour surmonter ces défis, il m’a fallu étudier des problèmes de société, me familiariser avec les processus de travail des organismes publics et traduire une analyse technique en pratiques opérationnelles. Aucun de mes cours de science des données n’avait jamais ne serait-ce qu’évoqué ces tâches, et encore moins enseigné comment les accomplir. »
Concevoir des algorithmes susceptibles d’améliorer la société n’est pas si simple. Comme on le répète ici, les calculs sont plus souvent défaillants qu’autre chose. Certainement parce que les méthodologies de la science des données n’offrent pas de méthode pour se faire, avance Green. D’où l’enjeu de ce manuel : apporter une nouvelle approche de la data science pour orienter les scientifiques des données vers la promotion de la justice sociale. En fait, souligne Green, les méthodes actuelles que mobilisent les data scientist ne leur permettent pas d’œuvrer pour le bien commun. Cette méthode actuelle, Green l’appelle le « formalisme algorithmique ». Et pour lui, elle est profondément problématique. Il propose d’en bâtir une autre : le « réalisme algorithmique ». Et son livre se veut une boîte à outils pour changer de méthode, pour changer la façon dont se déploie la data science.
Passer du formalisme au réalisme algorithmique
« Transformer la science des données, en passant d’une méthodologie formaliste axée sur des modèles mathématiques à une méthodologie pratique axée sur des problèmes du monde réel », c’est ce que propose Green. La science des données est un champ relativement récent, né dans les années 2010, même si elle s’est construite sur des idées et des pratiques qui ont une longue histoire, rappelle-t-il. Le formalisme algorithmique est une méthodologie qui repose sur la propriété mathématique des algorithmes. Où qu’elles se déploient, les méthodologies formalistes restreignent le champ de l’analyse aux propriétés intrinsèques de leur objet, en excluant les éléments extérieurs tels que le contexte social et l’interprétation. Le formalisme algorithmique occulte le contexte social entourant les algorithmes, les garanties formelles de performance ne sont valides qu’au regard du comportement technique de l’algorithme – et non de ses usages et de ses impacts en pratique. En la matière, ces méthodes font obstacle à toute tentative d’aborder des problèmes sociaux et politiques complexes. Le formalisme procède d’une « réduction du champ de vision », rappelle le politologue James Scott dans son livre, L’œil de l’Etat (La découverte, 2021). Le formalisme tend à renforcer les hiérarchies, expliquent Geoffrey Bowker et Susan Leigh Star dans Arranger les choses (EHESS, 2023). Il peut sembler neutre et technique, mais le formalisme a souvent des conséquences pour les groupes marginalisés. Le problème est que le formalisme « caractérise le milieu intellectuel dans lequel évoluent les data scientists » et empêche d’adopter d’autres approches. Ce formalisme a des conséquences très directes : il privilégie les critères d’exactitude et d’efficacité ainsi que l’amélioration des prédictions.
D’ailleurs, les revues comme les conférences du secteur pénalisent souvent les recherches axées sur les applications et les résultats concrets, préférant les travaux qui améliorent les méthodes de calcul. Il conduit à minimiser les dommages potentiels causés par les systèmes algorithmiques et conduit à ne pas regarder les réalités de leurs mise en œuvre, à surestimer les bénéfices et à sous-estimer les nuisances. C’est le cas par exemple de Compas, le système de prédiction du risque de récidive américain. Ses promoteurs estimaient qu’en se fondant sur des évaluations formalistes, leur outil permettrait de réduire le recours à la détention provisoire et les disparités raciales. Or, les évaluations réalisées après la mise en œuvre du système algorithmique ont montré que ces améliorations ne s’étaient pas concrétisées. « Cet écart entre les évaluations formalistes et la réalité du terrain découlait de la manière dont les juges utilisaient les évaluations des risques ». L’évaluation du risque, sous forme d’infrastructures d’abstraction, a exacerbé plutôt que réduit les disparités raciales en matière de détention provisoire, parce que les ingénieurs de Northpointe, les développeurs de Compas, n’ont pas pris en compte la manière dont ils seraient utilisés (sur ces enjeux, voire également les livres de Jathan Sadowski, de Arvind Narayanan et Sayash Kapoor ou encore de Nathan Genicot dont nous avons déjà parlé ici et qui abordent tous ces questions sous un angle ou un autre).
Pour Green, la data science souffre d’une forme de « clôture mathématique », enclose sur elle-même, renforcée par une tendance à « l’universalisme abstrait », où le monde réel pourrait se réduire uniquement à des mathématiques. Cet universalisme abstrait pousse les data scientists à appliquer des algorithmes comme solution à tous les problèmes sociaux, sans prendre en compte les particularités de ses déploiements.
« Le problème est que, bien que ces représentations par substitution rendent le problème plus facilement traitable mathématiquement, elles suppriment généralement des éléments essentiels du contexte réel ». Cela conduit à des simplifications excessives et à de mauvaises interprétations, comme quand on tente d’évaluer les enseignants en fonction des résultats scolaires de leurs élèves. La qualité de l’enseignement se réduit alors à l’amélioration des résultats des élèves, comme le montrait Cathy O’Neil dans son livre, Algorithmes, la bombe à retardement (Les Arènes, 2018). Enfin, le formalisme algorithmique tend à faire croire que la data science et le calcul seraient politiquement neutres et que les scientifiques seraient objectifs, comme le dénonçaient déjà danah boyd et Kate Crawford en 2011 dans leurs 6 provocations à l’encontre des Big Data. Croire que la science des données produit des connaissances objectives tend à renforcer la minimisation des enjeux sociaux et éthiques des calculs, jugés comme non pertinents et dépourvus de rigueur. « Dans la recherche en science des données, la priorité est donnée aux contributions techniques, supposées apolitiques. Les revues et les conférences attendent des chercheurs qu’ils justifient leurs travaux sous l’angle de la performance et de la nouveauté plutôt que par rapport aux besoins de la société », comme le montrait une remarquable analyse des valeurs encodées dans les articles de recherche du secteur.
« La neutralité politique conduit les data scientists à négliger les inégalités structurelles et les contestations politiques sous-jacentes aux enjeux sociaux ». C’est par exemple l’écueil de la police prédictive, qui exacerbe et légitime la discrimination systémique inhérente à l’action policière.
Pour Green, ce formalisme exacerbé a généré une crise morale de la discipline. À mesure que les algorithmes se généralisaient et gagnaient en influence au sein de la société, les approches critiques ont alors gagné en visibilité à mesure que montaient les controverses et les injustices. Peu à peu, la question de l’éthique est devenue un domaine influent de la science des données, en valorisant la question de l’équité (c’est-à-dire en valorisant des définitions mathématiques de la prise de décision équitable) et de l’explicabilité. Cet accent mis sur l’éthique a orienté la science des données dans des directions productives, reconnaît Green, en attirant l’attention sur les impacts sociaux des calculs. Mais pour Green, cette éthique repose trop souvent sur une approche formaliste également. Elle réduit l’éthique à une question d’amélioration du calcul, comme le remarquait déjà le sociologue Bilel Benbouzid. Pour Green, « l’éthique des données ne permet pas de produire de manière fiable des algorithmes équitables. Même lorsque les algorithmes satisfont aux définitions techniques des idéaux éthiques, ils peuvent néanmoins s’avérer nuisibles en pratique. » Pour lui, le formalisme algorithmique conduit la science des données dans une impasse. Il manque une méthodologie plus pratique pour se faire.
Pour dépasser ces limites, il est nécessaire de passer du formalisme au réalisme. « Le critère ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique. Autrement dit, quelles que soient les propriétés mathématiques formelles d’un algorithme, ses effets concrets priment sur l’évaluation de sa qualité et de son utilité sociale. Par ce principe, le réalisme algorithmique vise à promouvoir une science des données réaliste, attentive aux usages et conséquences réels des algorithmes. » Pour le dire concrètement, nombre de services permettant d’attribuer des places dans le supérieur reposent sur l’algorithme dit des mariages stables de Gale et Shapley. Pourtant, la manière de l’implémenter est partout différente et produit des effets spécifiques, notamment parce que ses adaptations n’en respectent pas toujours les principes. Parcoursup comme son ancêtre, APB, en relevaient. Ce n’est pas pour autant qu’ils l’ont implémenté dans les règles de l’art.
Pour produire une véritable data for good, pour servir l’intérêt général par les données, alors « la justice sociale doit devenir la mission centrale de la science des données », estime Green. Pour cela, il faut changer la science des données, afin que « faire une bonne data science (doing good data science) devienne synonyme de faire le bien avec la data science (doing good with data science) ». Pour cela, il faut dépasser les attributs techniques d’un algorithme, pour se concentrer sur son rôle et ses impacts dans le contexte de son utilisation. « Les data scientists doivent donc porter leur regard vers l’extérieur : passer du fonctionnement interne des algorithmes au monde dans lequel ils opèrent.» Ils doivent concentrer leur regard sur les effets instrumentaux des systèmes, leurs impacts concrets plus que leurs performances. Pour Green, cela consiste à prendre en compte le changement social. L’enjeu par exemple ne serait plus de produire un calcul pour déterminer quels élèves risquent de décrocher pour améliorer le taux d’obtention d’un diplôme, mais à se demander comment améliorer les efforts de prévention du décrochage scolaire. « Il s’agit de développer des algorithmes qui favorisent des résultats éthiques au sein de la société.»
La méthode : faire avec le terrain !
Green expose longuement son plan de travail concret. C’est-à-dire un nouveau « flux de travail pour la science des données » (data science workflow), c’est-à-dire un processus de travail concret qui passe par la délimitation du problème, la délimitation du projet, l’analyse des données, la mise en œuvre et l’évaluation. Et pour mettre en œuvre ce processus, les data scientists doivent apprendre à mieux collaborer avec les acteurs du terrain, plutôt qu’à produire leurs solutions en chambre. Ils doivent discuter avec ceux qui sont impactés par les systèmes, ceux qui les mettent en place pour mieux saisir les enjeux qui sont les leurs. « Le réalisme algorithmique n’exige pas des data scientists qu’ils abandonnent leurs compétences techniques, mais il souligne qu’ils ont besoin de plus que ces seules compétences. Ainsi, les data scientists ne devraient pas se définir uniquement comme des experts techniques sachant analyser des données. Au contraire, ils devraient s’efforcer d’être des stratèges de la donnée, aidant de manière créative les personnes et les organisations à utiliser les données pour relever des défis du monde réel ». Green tente ici de dresser une piste pour que les scientifiques de la données arrêtent de produire du technosolutionnisme. Il invite les ingénieurs à se défaire de l’hubris ingénieuriale, comme il le disait ailleurs. A prendre conscience que leurs solutions sont bien souvent inadaptées, toutes formidables qu’ils les trouvent. Et pour cela, il faut changer l’approche de la discipline elle-même.
Pour Green, cette réorientation est aussi une réponse à l’automatisation qui dévalorise l’expertise des data scientistes. A l’heure où l’IA générative va produire la plupart du code, le réalisme algorithmique permet de prémunir la discipline contre l’automatisation. En devenant stratèges de la données, leur rôle n’est pas seulement de programmer, mais vise à « aider les organisations à définir des stratégies pour tirer parti des données et des algorithmes afin de répondre à leurs défis concrets ». « Les data scientists cherchent rarement à s’attaquer aux inégalités structurelles, préférant se contenter d’optimiser les procédures décisionnelles existantes. Le réalisme algorithmique inverse ces tendances. Il incite les data scientists à modérer leurs ambitions quant à ce que les algorithmes peuvent accomplir seuls, tout en les encourageant à viser plus haut dans la poursuite de réformes sociales et politiques systémiques », promouvant la justice sociale.
Pourtant, prévient Green, la justice sociale est un sujet complexe et controversé. Il n’existe pas de réponse unique ou évidente quant à la manière de parvenir à la justice dans chaque situation… Et il n’est pas sûr que toutes leurs interventions y parviennent. Reste que pour lui, il faut parvenir à sortir de la lutte contre les injustices engendrées par les algorithmes pour les utiliser pour combattre les inégalités.
Pour autant, Green ne se veut pas naïf. Les data scientists ne vont pas créer demain, rapidement et facilement, une société juste, juste en changeant de méthode. D’autres enjeux s’imposent à eux. Les gouvernements eux-mêmes et nombre d’acteurs privés, sont motivés par des objectifs qui sont en conflits avec la justice sociale. Les autorités sont les premières à produire des algorithmes pour soutenir des politiques austéritaires, racistes et qui renforcent le contrôle et les inégalités sociales et les data scientists n’ont pas toujours de marge de manœuvre pour réorienter ces politiques. Le réalisme algorithmique ne prétend pas résoudre tous les défis. Il ne se veut qu’une méthode pour appréhender les défis sociaux, pour mieux collaborer avec les plus vulnérables. Et effectivement, cela ne suffira certainement pas à inverser les scripts qui se déploient dans les outils, les idéologies à l’œuvre dans les programmes et les politiques. « Les data scientists disposent d’une marge de manœuvre limitée pour générer un changement social ». Ce n’est pas pour autant qu’ils ne doivent pas être responsables de tenter de changer les choses. « Les data scientists ne sont pas responsables de la création des conditions sociales d’inégalité et d’injustice. Mais nous sommes responsables de la décision et de la manière d’agir face à ces conditions sociales.»
Le réalisme algorithmique n’est pas seulement une nouvelle méthode. C’est aussi une nouvelle culture et un ensemble de normes pour la data science. Son but est de traduire la critique des algorithmes en de nouvelles pratiques pour les data scientists.
La leçon du pragmatisme
Le passage du formalisme au réalisme et l’idée de l’appliquer à la data science ne vient pas de nulle part, explique Ben Green. Il s’inspire notamment des philosophes pragmatistes, comme John Dewey ou William James. « Les pragmatistes visaient à transformer la philosophie, d’une recherche métaphysique de vérités essentielles, en un ensemble d’outils pratiques pour résoudre les défis sociaux contemporains ». Pour eux, les concepts sont des instruments au service de l’action concrète : les idées sont des instruments pratiques – au même titre que des fourchettes, des tondeuses à gazon ou des stéthoscopes – destinés à aider les individus à faire face aux défis du monde réel. Ils proposent aux philosophes de s’affranchir de leur dépendance aux abstractions et aux formalismes et aux certitudes qu’elle produit. « Aucune connaissance ne garantit son infaillibilité », disait Dewey. Les connaissances doivent pouvoir être affinées en fonction des conséquences de leur mise en pratique.
La philosophie pragmatique s’appuie sur 3 principes. Le premier consiste à prendre en compte les conséquences : la qualité des théories dépend de leurs effets dans le monde réel, ce qui suppose d’évaluer dans la pratique si elles produisent les conséquences souhaitées. Une politique visant à réduire les inégalités de revenus ne s’évalue pas en fonction des principes qu’elle propose, mais se mesure plutôt en observant si sa mise en œuvre réduit effectivement les inégalités. Le second est le principe des outils, c’est un principe qui vise à se défier de l’abstraction qui n’est qu’un outil parmi d’autres. Le troisième est celui de la socialité : toute connaissance est le produit des personnes qui l’élaborent. Cela signifie qu’il n’existe aucune valeur éthique ou objective ultime.
Cette philosophie a eu des conséquences concrètes, notamment dans le domaine du droit. Jusqu’au début du XXe siècle, le raisonnement juridique aux Etats-Unis était dominé lui aussi par le formalisme, ce qui a suscité des critiques ouvrant la voie à des réformes progressistes, notamment pour élargir les droits et les protections des travailleurs. C’est ce que l’on a appelé le réalisme juridique. Le formalisme juridique estimait que les conséquences sociales réelles des lois étaient sans pertinence pour leur évaluation. Par exemple, les juges américains ont longtemps interprété la liberté contractuelle comme une règle rigide : l’État ne pouvait s’immiscer dans les contrats que les individus concluaient de leur plein gré. La Cour suprême des Etats-Unis a ainsi invalidé en 1905 une loi de l’Etat de New York fixant une durée maximale de travail pour les employés de boulangerie au motif qu’elle était un ingérence déraisonnable face à la liberté de contracter, quelque soit ses effets. En réaction au formalisme juridique, les réalistes ont œuvré pour prendre en compte le monde dans lequel le droit s’inscrit, pour faire du droit un outil pragmatique au service d’objectifs sociaux plutôt qu’un système visant à produire des réponses incontestables. Pour eux, la qualité des lois devait dépendre de leurs effets dans le monde réel. Pour cela, il leur a fallu montrer que les principes juridiques abstraits ne permettent pas d’apporter des réponses claires dans des cas concrets. Les réalistes juridiques ont prôné des changements d’orientation pour prendre en compte la jurisprudence, le contexte et en soutenant que le droit n’était pas un outil neutre, mais politique, et montrer que le droit ne pouvait être résolu par la simple application de principes abstraits. Ce basculement a changé l’application du droit aux Etats-Unis. En 1937, la Cour suprême des Etats-Unis a validé la constitutionnalité de lois sociales telles que celles instaurant un salaire minimum. « L’évolution du droit, passant du formalisme juridique au réalisme juridique, laisse entrevoir une trajectoire analogue pour faire progresser la science des données : le passage du formalisme algorithmique à une nouvelle méthodologie, le réalisme algorithmique.»
Pour appliquer le pragmatisme à la science des données, il faut que « le test ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique ». Les data scientists ne peuvent se fier au comportement des entrées et des sorties du modèle. Il faut passer d’une conception des algorithmes comme des modèles mathématiques à une conception pratique d’instruments destinés à améliorer la société. « Ce qui rend un algorithme « équitable » ou « éthique », ce n’est pas qu’il possède des caractéristiques mathématiques associées à ces valeurs, mais qu’il produit, dans le monde réel, des résultats associés à ces valeurs ». Les algorithmes sont des systèmes sociotechniques qui s’inscrivent dans la société où ils se déploient, des pratiques sociales. Et s’ils sont des pratiques sociales, alors il faut développer des mesures d’évaluation adaptées, qui reflètent les effets réels de ces calculs. Prendre en considération les conséquences des systèmes, impose aux ingénieurs d’assumer la responsabilités des préjudices que leurs systèmes causent. « Si un algorithme conçu pour améliorer la société s’avère finalement nuisible, il ne peut être considéré comme socialement bénéfique, quelles que soient les mesures formelles attestant de ses bienfaits. Même si les effets néfastes d’un algorithme n’ont pas été voulus, ils définissent la manière dont celui-ci fonctionne réellement. » Là où le regard des spécialistes doit bouger, c’est qu’ils devraient privilégier les impacts sociaux indépendamment du rôle joué par les algos, quitte à ne pas développer des systèmes de calcul.
Le réalisme algorithmique repose enfin sur un autre principe et présupposé : les algorithmes sont politiques et ceux qui les fabriquent sont des acteurs politiques à part entière. « Toute activité qui influence la disponibilité des ressources, des droits, des statuts ou du pouvoir dans la société est politique ». Les défenseurs de la neutralité visent bien plus à occulter les rapports de force et perpétuer les hiérarchies sociales existantes, qu’à défendre une impartialité qui n’existe pas. Pour Green, les développeurs doivent reconnaître leur partialité, non pas parce qu’ils ignoreraient certaines choses, mais plus encore parce que leurs travaux portent des valeurs par devers eux. « Les data scientists occupent souvent des postes leur conférant une marge de manœuvre considérable pour prendre des décisions normatives. Or, ils ne devraient pas se considérer comme les arbitres du bien, mais plutôt comme des facilitateurs attachés à la participation démocratique de tous.»
Dans Logique : La théorie de l’enquête (PUF, 2006), John Dewey décrit la résolution de problèmes comme un processus en quatre étapes. « La première étape consiste à examiner le problème en question pour en comprendre les caractéristiques et définir les critères d’une résolution souhaitable. La deuxième étape consiste à explorer des solutions potentielles et à rechercher une intervention susceptible de résoudre le problème. La troisième étape consiste à mettre en œuvre l’intervention choisie. Enfin, la quatrième étape consiste à évaluer si l’intervention a produit les résultats escomptés. Si les résultats sont satisfaisants, le processus s’achève. » C’est exactement la méthode que Green retient pour l’appliquer aux défis algorithmiques. La méthode se déploie comme une feuille de route visant à
1. Délimiter le problème
2. Délimiter le projet
3. Analyser les données
4. Mettre en oeuvre
5. Et évaluer.
Avant de détailler par le menu les enjeux et défis de chaque étape. Mais, rappelle-t-il en préambule, les ingénieurs ne sont pas des « licornes omniscientes capables de tout faire en solitaire ». Si certains collaborent activement avec des communautés et des experts pour mener leurs projets, trop souvent encore, ces échanges restent « formalistes ». Dans l’ensemble, ils restreignent la participation de ces groupes à la simple fourniture d’informations sur les paramètres de mise en œuvre technique (voir par exemple notre article sur le manque de participation des publics). Et il est encore plus rare que les ingénieurs confient à d’autres le pouvoir de décision sur les résultats à privilégier ou l’opportunité même de développer des systèmes. Même lorsqu’ils consultent des communautés, trop souvent encore, les ingénieurs conservent la maîtrise du projet. Et quand c’est le cas, l’implication des parties prenantes est marginale, insuffisante pour influencer de manière significative les résultats. Quand c’est le cas, les ingénieurs ont souvent déjà arrêté leur orientation et restent souvent réticents face aux retours remettant en cause leurs choix (comme nous le montrions dans notre article sur l’échec des déploiements de projets). Enfin, quand ils laissent une place, celle-ci consiste à discuter de paramètres, d’indicateurs qui dévalorisent les savoirs des groupes dépourvus de formation technique.
En rendant les phases amonts (et avals) du processus plus collaboratives, l’enjeu est de mieux réussir à ouvrir à toutes les parties prenantes les moyens de peser sur les objectifs et la portée des projets. Green rappelle que le data scientist ne connaît jamais la complexité du fonctionnement d’un système. Ce sont ceux qui y sont confrontés les experts. Et c’est leur connaissance qui seule permet de faire la différence.
Définir le périmètre de projets de science des données réalistes
Délimiter le problème n’est pas si simple car les situations problématiques sont souvent mal définies et ambiguës et nécessitent d’éviter toute attente ou tout objectif préconçu. « Lors du diagnostic des problèmes, il est important de reconnaître qu’il n’existe probablement pas d’explication unique et correcte. La plupart des défis sociaux sont des « problèmes complexes ».» Pour cela, Green invite à l’enquête. A discuter avec les agents ou avec le public. A prendre le temps d’interviewer, de parler. Il donne l’exemple d’entretiens avec des parents confrontés à des systèmes algorithmiques visant à prédire les risques de maltraitance ou de négligence. Pour les familles, ces systèmes stigmatisent les parents plus qu’ils n’améliorent la situation. La réponse proposée par les services sociaux où ces systèmes étaient déployés était inadaptée à leur situation. Pour Green, tout l’enjeu est de poser l’énoncé du problème, de le décrire et de décrire ses causes. Aborder les personnes touchées et regarder si elles sont concernées différemment. C’est en posant un diagnostic approfondi du problème qu’on construit un point de référence qui va fournir un cadre pour la démarche. Et ce diagnostic doit être partagé et validé par ceux avec qui le data scientist doit travailler.
Une fois le problème cerné, il faut alors élaborer une stratégie de réforme, c’est-à-dire une théorie du changement qui permettrait de résoudre le problème identifié, sans évoquer de technologie. Le but n’est pas nécessairement de tout résoudre d’un coup, mais aussi d’esquisser les étapes. « Lorsque des travailleurs se syndiquent, ils ne cherchent pas simplement à obtenir des salaires plus élevés. Ils visent plutôt à accroître leur pouvoir à déterminer les conditions de travail. Grâce à ce pouvoir, ils peuvent négocier avec la direction de nombreux aspects de leur emploi : les salaires, certes, mais aussi la couverture santé, les mesures de sécurité, et bien plus encore. Pour un syndicat, il n’existe pas de victoire ultime et définitive, mais seulement une succession de compromis et de victoires partielles. Chaque action renforce la capacité du syndicat à remporter de nouvelles victoires partielles lors des campagnes de mobilisation ultérieures », comme le montrait André Gorz dans Stratégie ouvrière et néocapitalisme (Seuil, 1964). « Pour les data scientists, qui cherchent à promouvoir la justice sociale, votre objectif n’est pas d’identifier une stratégie globale de transformation de la société. Ne vous attendez pas à ce qu’une intervention quelconque puisse résoudre un problème social systémique et aboutir à une alternative parfaitement juste. L’objectif est plutôt d’identifier des « réformes non réformistes » : des actions qui, même modestement, orienteront la société vers des politiques et des structures de pouvoir égalitaires. » Pour Gorz, les réformes non réformistes s’inscrivent dans une volonté d’instaurer des relations sociales égalitaires. Elles remettent en cause le statu quo au service des objectifs visés. Compte tenu de cette distinction, les réformes non réformistes sont mieux à même de surmonter les structures politiques et de pouvoir systémiques qui, généralement, font obstacle à la réalisation de la justice sociale.
La délimitation du projet, elle, consiste à préciser les objectifs à atteindre. « Des objectifs qui doivent être à la fois spécifiques, mesurables, réalisables, pertinents et temporellement définis ». Ils doivent permettre de faire progresser la stratégie de réforme définie et sa contribution doit venir soutenir les acteurs. Ici, l’enjeu est d’identifier « Comment mon expertise et mon statut de data scientist peuvent-ils aider le groupe à atteindre ses objectifs ? »
Pour Green cela suppose par exemple de produire une cartographie des processus pour bien saisir le fonctionnement et les pratiques des acteurs accompagnés, sous forme par exemple d’une représentation détaillée de chaque étape d’un processus opérationnel, voire un organigramme ou un flux de travail (à accomplir avec ceux chargés de le faire pour en valider les étapes, préciser les acteurs impliqués, les objectifs de chacun, leurs contraintes) permettant d’identifier les points de blocages concrets. À San Francisco par exemple, le Département de la santé publique s’inquiétait de la baisse des taux de fidélisation à un programme qui fournit une aide alimentaire aux mères à faibles revenus. Pour comprendre les causes de ce problème, l’agence a collaboré avec l’équipe interne de science des données de la ville. Les spécialistes des données ont analysé six années d’informations et élaboré un modèle d’arbre de décision afin d’identifier les facteurs conduisant les mères à abandonner le programme. Ils ont également interrogé les bénéficiaires et le personnel du programme. Ces analyses ont révélé que les contraintes administratives et la stigmatisation sociale constituaient des obstacles majeurs pour les mères. En réponse, l’agence a réduit les contraintes administratives en simplifiant la prise de rendez-vous et en remplaçant les chèques papier par des cartes de paiement électroniques qu’elles réclamaient. L’agence a également lutté contre la stigmatisation en modifiant la communication du programme. A nouveau, insiste Green, l’enjeu n’est pas toujours de faire de grandes réformes. Mais souvent seulement d’aider les organismes à renforcer leurs capacités techniques, que ce soit en nettoyant leurs données, à former le personnel pour élaborer des indicateurs pertinents ou à faciliter le partage de données entre les différents services.
Un autre moyen consiste à cartographier le pouvoir, les réseaux d’acteurs en relation ou en conflit, comme « d’identifier des adversaires qu’il convient de soumettre à des pressions, des alliés potentiels qu’il faut convaincre ou des groupes non organisés qu’il s’agit d’unifier ». C’est le cas par exemple du collectif militant Anti-Eviction Mapping Project (AEMP) qui publie des cartes d’expulsion notamment à San Francisco. Avec l’Eviction Defense Collaborative, les deux associations ont produit une carte pour mettre en évidence les arrêts de navettes des entreprises technologiques de San Francisco avec celle des expulsions du centre-ville qui a conduit la ville à réglementer le passage de ces bus.
Le but, ici, est bien souvent d’analyser les données pour orienter la stratégie de mobilisation. Dans le Connecticut, des locataires de logements abordables étaient exposés à des niveaux de présence de plomb toxiques. Ils ont formé un syndicat de locataires pour se mobiliser contre le problème. Les scientifiques de l’organisation Science for the People sont venu leur apporter leur soutien en croisant les données des inspections des agences chargées de la détection du plomb avec celles du syndicat pour aller démarcher d’autres habitants confrontés au problème et accroître la mobilisation et la pression sur les autorités publiques. Suite à ces actions, une enquête a été ouverte et l’agence de protection de l’environnement est intervenue pour faire nettoyer les immeubles.
Pour élaborer des spécifications de conception, il faut s’intéresser aux variables cibles des systèmes (c’est-à-dire le résultat que l’algorithme prédit), les mesures d’évaluation et l’utilisabilité pratique, qui permettent de traduire le phénomène étudié en une représentation quantitative susceptible d’être mesurée et prédite. Or, celles-ci ne sont pas toujours définies au mieux, rappelle Green. Un algorithme utilisé par le service des impôts américains pour prédire quelles déclarations de revenus sont non conformes (qui devraient donc faire l’objet d’un contrôle fiscal) évalue « la non-conformité comme le dépôt d’une déclaration comportant une erreur, quel que soit le montant en jeu. Sur la base de cette définition, l’algorithme cible de manière disproportionnée les contribuables à faibles revenus et les contribuables noirs pour des contrôles. À l’inverse, si l’algorithme définissait la non-conformité comme un sous-paiement d’impôts d’un montant significatif, il ciblerait plutôt les contribuables à revenus élevés et non noirs pour ces contrôles » (un problème qui n’est pas sans rappeler celui des indus calculé par la CAF en France, soit dit en passant).
Parvenir à identifier correctement le problème prend du temps et des efforts, rappelle Green. A New York, le service municipal d’aide aux locataires qui vise à les aider dans leur relations avec leur propriétaires par exemple pour obtenir des réparations d’urgence, a cherché à identifier les locataires qui avaient besoin d’aide. Ils ont mis au point un système pour prédire les locataires harcelés par leurs propriétaires pour mieux cibler leurs interventions. Dans un premier temps, ils ont défini leur algorithme pour prédire les immeubles allant connaître au moins un cas de harcèlement au cours du mois suivant, mais le système sélectionnait des immeubles comportant beaucoup d’appartements, mais avec un faible taux de harcèlement de leurs propriétaires. Les scientifiques ont reformulé le problème pour prédire quels immeubles présentaient la plus forte proportion de locataires harcelés. Le modèle a alors identifié des immeubles plus petits avec des taux élevés et mieux répartis dans la ville. Le second modèle a permis de doubler le taux d’identification de locataires en difficulté avec leurs propriétaires, se révélant ainsi plus efficace pour soutenir la mission de l’agence, à savoir protéger les locataires vulnérables.
Pour Green, il y a beaucoup de variables à prendre en considération pour accomplir des analyses adaptées aux situations. Bien souvent, les associations ou les services publics ont peu de moyens pour intervenir. Cela signifie qu’il faut être capable d’intégrer les contraintes opérationnelles de l’organisme dans les indicateurs d’évaluation. « Les approches d’évaluation standard, qui prennent en compte la performance d’un algorithme sur l’ensemble de la population, ne reflètent pas la qualité de l’algorithme pour le rôle auquel il est destiné. Si un organisme ne peut intervenir qu’auprès d’une petite partie de la population, l’essentiel est d’identifier avec précision le groupe qui bénéficierait le plus d’une intervention. » Et dans de nombreux cas, « l’algorithme le plus performant pour l’ensemble de la population sera différent de celui qui performe le mieux pour le sous-ensemble étudié ».
Enfin, il faut s’assurer que l’algorithme sera utilisable en pratique et qu’il sera dimensionné et adapté aux processus existants. Par exemple, en travaillant avec les services sociaux de l’Illinois pour réduire le risque d’accouchement prématuré, les data scientists ont tenté de prédire les femmes avec le plus grand risque de complication via une application en ligne. Mais ils se sont rendu compte que cette application n’était pas fonctionnelle en pratique, car les services ne disposaient pas des capacités techniques pour en assurer la maintenance. Ils ont alors produit un score de risque depuis un simple formulaire papier facile à remplir. Moins précis que l’évaluation numérique, l’outil s’est avéré plus efficace car les services ont pu l’intégrer dans leurs opérations quotidiennes et a permis d’améliorer de 20% les soins prénataux aux femmes à hauts risques.
Pour Green, « plus vous aurez défini le périmètre de votre projet de manière pertinente pour le contexte d’utilisation spécifique, plus il sera facile de mettre en œuvre l’algorithme avec succès ». Et c’est seulement après ces étapes importantes de spécifications, que le data scientist peut faire son travail, de sélection, de nettoyage et d’analyse de données.
Là encore, le travail préliminaire consiste à bien comprendre les données, leurs ambiguïtés, leurs biais et leurs limites. Il faut comprendre comment elles sont collectées, leurs manques… Ce qui n’est possible qu’en comprenant leur collecte, leur but, et en discutant avec ceux qui les collectent. Pour Green, « une cause fréquente d’échec des logiciels publics réside dans les méthodes de développement dites « en cascade » : les pouvoirs publics définissent leurs besoins, les techniciens conçoivent et réalisent le système de manière isolée, pour ne le présenter qu’une fois le produit final achevé. L’approche en cascade suppose qu’il est possible de définir tous les détails d’un outil avant d’en entamer la réalisation », comme le montrent Tara Dawson McGuiness et Hana Schank dans leur livre, Power to the Public: The Promise of Public Interest Technology (Princeton university Press, 2021). « Cette approche mène souvent à l’échec car elle ne prévoit aucune possibilité de retour d’information intermédiaire au cours du processus de développement. Si vous tentez de concevoir un système de manière isolée, vous risquez de négliger les préférences et les pratiques de l’organisme concerné, faute de les avoir abordées en amont. De plus, ces préférences et pratiques sont susceptibles d’évoluer avec le temps. Plutôt que d’adopter une méthode en cascade (waterfall), privilégiez les pratiques de développement « agile » : créez des prototypes de manière itérative, discutez-en ou testez-les avec les utilisateurs finaux, puis ajustez votre travail en fonction des retours obtenus. »
Une fois les données analysées ou modélisées, vous pouvez en tirer des enseignements. Si vous avez élaboré un modèle, c’est à cette étape que vous l’utiliserez pour effectuer des prédictions ou des classifications sur de nouvelles données. Si vous préparez une présentation ou un rapport, c’est le moment de synthétiser les résultats dans un document destiné à être partagé. Ne vous limitez pas aux aspects techniques de vos livrables ; réfléchissez également à la manière de communiquer votre travail. Il est essentiel que votre public puisse interpréter correctement la signification de vos résultats (et, point tout aussi important, ce qu’ils ne signifient pas).
L’implémentation elle aussi doit être pédagogique recommande Green. Elle doit se faire en observant les impacts liés à l’utilisation. « Les projets de science des données sont loin d’être terminés une fois qu’un algorithme a été développé. » Pour cela, il faut non seulement surveiller ce que produit l’algorithme mais plus encore comment il s’insère et influe sur la prise de décisions, dans les processus et observer ses impacts sur les publics touchés. C’est à ce moment-là qu’on déploie des outils pour évaluer leurs effets, que ce soit via des méthodes de projection prospective, des exercices de design fiction, ou des études d’utilisation.
C’est seulement toutes ces étapes franchies qu’on peut décider ou non d’implémenter le système, estime Green en délibérant avec les parties prenantes, en ayant observé si le système produit bien des effets et à quel niveau. C’est seulement une fois que l’implémentation est réalisée avec attention pour qu’elle s’intègre aux processus, que l’évaluation peut vraiment avoir lieu. En regardant s’il atteint bien ses objectifs et s’il engendre des effets secondaires négatifs. Là encore, le manuel de Green fourmille d’exemples pour procéder à ces évaluations, que ce soit par des essais contrôlés randomisés, des comparaisons avant-après, par des études d’interaction humaines avec le système, des enquêtes sur les groupes affectés par les décisions…
Bien souvent, les évaluations formalistes des systèmes peinent à évaluer leurs impacts concrets. A San Francisco, les personnes sans abri font l’objet d’une évaluation de leur vulnérabilité par un algorithme. Ces scores orientent les décisions des organismes de logement quant aux personnes à prioriser pour l’attribution d’un logement. Or pour candidater, il leur faut répondre à un questionnaire assez traumatisant, ce qui les conduit à taire leurs récits voire à renoncer et donc à réduire leur score. L’algorithme ne parvient donc pas à accomplir pleinement ce qu’il est censé faire.
Relever le défi des inégalités : des mesures d’équité… aux interventions structurelles
Résoudre les inégalités n’est pas si simple, rappelle Green. En 2016, les journalistes d’investigation de ProPublica ont montré que l’algorithme de Compas d’évaluation des risques de récidive était biaisé à l’encontre des Noirs. ProPublica a constaté que le taux de faux positifs de COMPAS – le taux de classification erronée d’un prévenu qui ne récidivera pas comme présentant un risque élevé – était deux fois plus élevé pour les prévenus noirs que pour les prévenus blancs. L’algorithme a classé 45 % des prévenus noirs non récidivistes comme présentant un risque élevé. En revanche, il n’a classé que 23 % des prévenus blancs non récidivistes comme présentant un risque élevé. L’algorithme a donc classé de manière disproportionnée les prévenus noirs comme susceptibles de récidiver.
Ces résultats ont suscité une grande consternation, de nombreux commentateurs exprimant leur indignation face à des algorithmes racistes dans des décisions aussi importantes. Mais Northpointe, l’entreprise qui a développé Compas, a réfuté les accusation de discrimination en s’appuyant sur une autre comparaison : parmi les prévenus considérés comme à haut risque, les prévenus noirs et blancs récidivaient à des taux similaires (environ 60 % du temps). Ce qui signifiait que l’algorithme traitait les prévenus noirs et blancs de la même manière quant à leur probabilité de récidive. Pour Northpointe, cette analyse démontrait que COMPAS est impartial.
Des chercheurs en science des données se sont penchés sur ce débat, supposant qu’il serait possible de trancher la question en ajustant COMPAS pour satisfaire aux notions d’équité présentées par ProPublica et Northpointe. Ils ont cependant rapidement découvert que cela était impossible. Les algorithmes prédictifs discriminent inévitablement une forme ou une autre, et généralement en pénalisant les groupes marginalisés. Dans le cas de COMPAS, la disparité raciale des taux de faux positifs s’explique parce que les accusés noirs récidivent plus fréquemment que les accusés blancs, mais certainement d’abord parce qu’ils sont plus nombreux à être incarcérés et moins pris en charge. L’algorithme détecte cette différence et considère donc les accusés noirs comme plus à risque que les accusés blancs. Des enquêtes ont démontré des biais raciaux, ethniques, sexistes et de classe dans de nombreux autres algorithmes du secteur public.
« Cette caractéristique des algorithmes soulève un problème important pour les data scientists qui tentent de promouvoir la justice sociale. Les groupes marginalisés obtiennent de moins bons résultats dans de nombreux domaines, notamment la criminalité, l’éducation, la réussite professionnelle et la santé. Ce sont ces inégalités qui motivent de nombreux data scientists à œuvrer pour la justice. Mais comme les algorithmes sont entraînés sur des données qui reflètent ces schémas d’inégalité, ils génèrent des prédictions et des classifications qui reproduisent les disparités sociales. »
Les spécialistes des données ont tenté de relever ce défi en développant le domaine de « l’équité algorithmique ». Comme son nom l’indique, l’équité algorithmique vise à empêcher les algorithmes d’exprimer des biais ou d’exacerber les inégalités. Ce domaine de recherche a réalisé des progrès importants dans le développement de méthodes permettant de réduire certains biais et a incité les spécialistes des données à reconnaître que les algorithmes ne sont pas objectifs.
Malgré ces avancées, l’équité algorithmique reste fondamentalement limitée en tant que méthodologie de promotion de la justice sociale. Le défaut fatal de ce domaine est qu’il considère l’équité comme un attribut technique interne aux algorithmes, explique Green.
L’équité algorithmique représente un exemple typique d’incorporation formaliste : les data scientists ont abordé les questions morales d’équité à travers les méthodes et les orientations du formalisme algorithmique. Cette approche de l’équité a conduit à des algorithmes qui paraissent équitables mais qui, en réalité, perpétuent les inégalités. « Ces limites de l’équité algorithmique signifient que les data scientists manquent d’une voie claire pour lutter contre la discrimination et les inégalités. Les réformes qui promeuvent l’équité sont les plus nécessaires dans les domaines où les disparités sociales sont criantes et généralisées. Mais les data scientists ne disposent pas de méthodes pour concevoir des algorithmes qui réduisent ces disparités plutôt que de les reproduire. Il n’est donc pas évident de savoir comment les data scientists peuvent contribuer à la justice sociale dans ces domaines. »
Pour Green, le réalisme algorithmique offre une voie productive pour pratiquer la science des données dans des domaines marqués par les inégalités car elle « reconsidère l’équité comme une propriété instrumentale – et non intrinsèque – des algorithmes ». « Dans cette optique, pour déterminer si un algorithme est équitable, ce qui compte, ce ne sont pas ses caractéristiques techniques, mais les effets qu’il produit au sein de la société. Par conséquent, les data scientists devraient cesser de poser la question formaliste dominante dans le domaine : « Comment créer des algorithmes qui satisfont à des critères statistiques d’équité ? » Cette question focalise l’attention sur le fonctionnement interne des algorithmes, en se concentrant étroitement sur des processus de décision isolés. Au lieu de cela, les data scientists devraient se demander : « Comment pouvons-nous contribuer à réduire les inégalités sociales et matérielles dans la société ? » Cette question incite les data scientists à privilégier les impacts réels des algorithmes. »
Certes, cette question ne permet pas de réponses simples. Toutefois, la démarche du réalisme algorithmique structure un processus grâce auquel les data scientists peuvent élaborer des projets favorisant l’équité. Le réalisme algorithmique invite les data scientists à élargir leur perspective au-delà des processus de décision ponctuels pour prendre en compte les environnements sociaux qui entourent ces moments de décision. Cette approche souligne que les data scientists ne sont pas limités à la simple optimisation des modalités de prise de décision : ils peuvent également modifier les structures sociales qui encadrent ces processus. « Ils devraient notamment s’efforcer de (1) réduire les disparités sociales qui alimentent les processus de décision et (2) atténuer les conséquences néfastes découlant de ces décisions. En privilégiant des interventions structurelles plutôt que des mesures d’équité, les data scientists peuvent mener des projets techniques qui contournent les contraintes liées à l’équité algorithmique tout en promouvant la justice sociale.»
Green montre que l’approche formaliste de l’équité, malgré le développement d’innombrables mesures d’équité sous forme mathématique, peine à produire des effets.
« Les mesures d’équité les plus répandues reposent sur des comparaisons entre des groupes qui valorisent soit la suffisance » (la condition de suffisance est remplie si, parmi les personnes faisant l’objet d’une prédiction donnée, tous les groupes présentent le résultat prédit dans les mêmes proportions. Cette définition de l’équité reflète l’idée que les personnes ayant une probabilité équivalente de manifester le comportement étudié doivent être traitées de manière similaire. Les modèles d’apprentissage automatique respectent généralement ce principe par défaut. Northpointe a soutenu que COMPAS était équitable car il satisfaisait au critère de suffisance) « soit la séparation » (la condition de séparation est remplie si tous les groupes soumis aux prédictions d’un algorithme présentent le même taux de faux positifs et le même taux de faux négatifs. Cette définition de l’équité reflète l’idée que les personnes présentant le même résultat doivent être traitées de manière similaire. ProPublica a soutenu que COMPAS était racialement biaisé car il ne respectait pas le critère de séparation).
Le problème est que ces deux manières de définir l’équité sont irréconciliables. Et que l’équité se résume alors à une boîte à outil, où l’équité répond ou pas aux mesures mathématiques retenues. L’équité ne se mesure que sous l’angle des données d’entrée et de sortie de processus décisionnels ponctuels et bien souvent privilégie la suffisance à la séparation, notamment parce qu’on a tendance à bien plus valoriser l’égalité formelle, c’est-à-dire celle qui juge selon une norme uniforme, qui est très perméable aux inégalités existantes. Ainsi, si Northpointe a raison d’affirmer que les prévenus noirs récidivent plus souvent, c’est oublier que cette explication occulte les raisons de cette disparité. Cette disparité ne résulte pas d’un phénomène inexplicable ou sans importance. Au contraire, des siècles d’oppression raciale ont criminalisé le fait d’être Noir et ont placé les communautés noires dans des conditions criminogènes telles que la pauvreté endémique, le sous-financement des écoles et la rareté des opportunités d’emploi, rappelle le chercheur.
Pour Green, c’est en cela que l’équité algorithmique est dans une impasse. Les critiques, partisans de la justice algorithmique, suggèrent de privilégier la séparation à la suffisance comme définition de l’équité, pour privilégier l’égalité de résultats entre les groupes. Dans le cas de Compas, cela signifierait produire les mêmes niveaux de faux positifs pour les prévenus noirs et blancs. Mais pour changer d’approche, il faudrait faire évoluer non seulement la prise en compte mathématique, mais également la contrainte juridique. Privilégier la séparation nécessiterait de préconiser des décisions différentes pour les prévenus noirs et blancs présentant le même risque de récidive, ce qui serait illégal en vertu des lois anti-discrimination. Nous sommes là dans le même défi juridique que l’on notait dans le livre de Nathan Genicot. Une impasse éthique que nos sociétés n’ont pas tranchée.
Pour dépasser cette impasse, Green suggère de passer à une approche instrumentale de l’équité. « Si nous ne pouvons pas choisir d’autres métriques d’équité, que pouvons-nous faire pour obtenir des algorithmes plus équitables ? »
« Pour élaborer une stratégie visant à mettre les algorithmes au service de la lutte contre l’injustice, nous avons besoin de l’éclairage d’une théorie morale qui dépasse le cadre de l’égalité formelle. » Cette théorie doit présenter deux caractéristiques fondamentales. Premièrement, elle doit se concentrer sur les réalités concrètes des inégalités plutôt que sur le simple respect de règles formelles et de normes uniformes. Deuxièmement, elle doit élargir le champ de l’analyse au-delà des points de décision individuels.
Pour cela, la solution que propose Green repose sur l’égalité relationnelle, qui constitue une approche substantielle de l’égalité, car elle privilégie les résultats aux procédures. Elle valorise notamment l’égalité dans les relations entre les individus. Les tenants de l’égalitarisme relationnel estiment que « les individus doivent interagir en tant qu’égaux ou jouir du même statut fondamental », contrairement aux relations hiérarchiques. Les égalitaristes relationnels suggèrent une stratégie différente pour promouvoir l’égalité : modifier les structures sociales qui encadrent les points de décision, c’est-à-dire s’intéresser bien plus aux environnements de décision. « Ce qui compte, ce n’est pas de savoir si un algorithme est conforme aux définitions de l’équité, mais s’il réduit les inégalités sociales et matérielles dans la société ».
Pour y parvenir, Green reprend tout le processus qu’il a proposé (les 5 étapes de sa méthode) pour le réinterroger à l’aune de l’équité.
Lors de la délimitation du problème, il faut se poser plus avant la question des groupes les plus vulnérables ou les plus défavorisés. Les disparités d’attributs entre les groupes doivent être considérés comme le résultat d’une injustice. Et toujours estimer que les membres du groupe favorisé ont une influence dans la définition des critères de décision. Les attributs d’une personne, comme le mérite, le besoin, la dangerosité, reflètent souvent les intérêts des groupes sociaux dominants. « Plus un groupe dominant a le pouvoir de définir les critères, plus les conditions sont défavorables aux groupes marginalisés. » Il invite par exemple à observer si « les personnes présentant des caractéristiques défavorables font l’objet, de manière disproportionnée, de décisions défavorables » ou si les « les personnes qui reçoivent une décision défavorable subissent des conséquences graves » ou combien de personnes subissent des décisions défavorables. Ces questions permettent d’adapter les réponses stratégiques. Par exemple en fournissant des ressources ou des soutiens aux groupes défavorisés pour amoindrir les effets des calculs en modifiant les critères d’évaluation des décisions. Par exemple, en tentant de modifier les décisions défavorables afin qu’elles privilégient l’aide à la sanction. Ou encore en atténuant les préjudices découlant d’une décision défavorable, ou encore en tentant de réduire le nombre de personnes faisant l’objet de décisions défavorables, en tentant par exemple d’agir sur les ressources disponibles pour permettre davantage de décisions favorables. Ainsi, pour réduire le risque de récidive chez les groupes marginalisés, la première stratégie de réforme en amont consiste à fournir des ressources ou d’autres formes de soutien aux groupes défavorisés.
Green donne un exemple, en observant comment d’autres décisions permettent de réduire le risque de récidive, par exemple en accompagnant les programmes qui visent à rompre les cycles de la criminalité et de la violence. À Chicago, un programme d’intervention communautaire contre la violence vise à offrir un soutien thérapeutique et social aux personnes à risque d’avoir un comportement violent. Les évaluations ont montré que ces programmes avaient un réel impact en réduisant de plus de 70% le risque d’arrestation pour crime violent chez les participants. Les spécialistes des données peuvent aider par exemple à améliorer le taux de rétention des participants, alors que moins de la moitié des participants vont jusqu’au bout du programme (et compte tenu des ressources limitées des programmes, il est impératif qu’ils réduisent leurs taux d’abandon). En comprenant les raisons de l’abandon ou en élaborant un modèle pour identifier les participants qui risquent d’abandonner, il y a des possibilités pour venir en soutien de ces programmes. Ou encore en concevant un modèle identifiant les meilleures stratégies de rétention.
Un exemple dans l’actualité plus récente explicite plus avant ce succès. La ville de Baltimore a réduit son taux d’homicides de 60 % entre 2021 et 2025 rapportent Public Health et le Emerald book, en copiant le programme de Chicago. Ce succès s’explique par le fait que la ville ait abordé la violence par arme à feu comme un enjeu de santé publique et ait agit sur le problème non pas par la répression, mais en promouvant un programme pour les personnes les plus à mêmes de tomber dans la violence donnant accès à un logement stable, à des emplois, à des transports publics, comme le préconisent les travaux du Centre pour les solutions contre la violence par arme à feu et du Crime and Justice Lab. Une approche axée sur la santé publique implique d’analyser les données, de se concentrer sur les personnes les plus exposées aux risques pour les repérer et leur proposer un programme adapté d’aides pour s’extraire de la spirale où ils risquent de tomber parce qu’ils ont eux-mêmes été victimes de violences et d’évaluer en permanence ce qui fonctionne et ce qui ne fonctionne pas. En s’appuyant sur des réseaux communautaires locaux, comme la Peace Team, YAP, Roca, Safe streets ou Cure violence, Baltimore a réussi à ce que 91,5% des participants à son programme ne soient plus ni victimes ni auteurs de nouvelles fusillades. Plutôt que de déployer des effectifs de police, la ville a misé sur des médiateurs et un programme d’aides dédiés pour que la réponse à la violence par la violence ne soit plus la seule option. « Le succès de Baltimore a définitivement balayé le mythe selon lequel la réduction de la criminalité nécessiterait nécessairement une augmentation des effectifs policiers.»
Une autre option consiste à attirer davantage l’attention sur les méfaits de la mise en détention auprès des juges, comme l’ont montré les propositions alternatives à Compas, comme des systèmes qui proposent pour chaque individu la meilleure solution pour qu’ils ne récidivent pas en leur proposant les aides les mieux adaptées à leur situation (comme le programme de remise en liberté sous surveillance de la ville de New York qui a permis d’éviter la détention provisoire de 150 000 personnes) ou encore, comme le propose Esas, en proposant aux juges, plutôt qu’un score de risque, d’accéder aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, leur permettant de comparer leur sentence et de relativiser leurs jugements (voir notre article).
Il est également possible d’utiliser d’autres solutions encore, comme des modèles statistiques afin d’identifier et de contester publiquement les décisions des juges en matière d’incarcération. À titre d’exemple, des spécialistes des données ont élaboré des modèles évaluant la fréquence à laquelle les juges de New York ont ordonné le placement en détention provisoire entre 2020 et 2022, au regard de leur volume de dossiers. Ils ont ensuite publié un rapport désignant les quatorze juges les plus sévères de la ville. Selon leurs estimations, par rapport à des juges ordinaires, ces quatorze magistrats ont collectivement placé 580 personnes supplémentaires en détention, entraînant 154 années de détention provisoire additionnelles et un coût de 77 millions de dollars pour les finances publiques.
Une autre possibilité encore consiste à œuvrer à réduire les peines prononcées ou à réduire le nombre de personnes placées en détention provisoire par exemple en collaborant avec des avocats commis d’office pour concevoir un outil open-source pour les aider à mieux défendre leurs clients. ou encore en mobilisant des citoyens pour documenter les procédures de la justice et produire des rapports sur leurs actions.
Green ne promet pas le grand soir de la lutte contre les inégalités. Mais estime que le terrain des interventions concrètes offre de nombreuses possibilités d’action. Pour lui, la data science permet de porter bien d’autres regards sur l’équité algorithmique. Bien sûr, reconnait-il avec humilité, « aucune de ces interventions, prise isolément, ne suffirait à éliminer les inégalités sociales ou les préjudices liés à la détention provisoire. Toutefois, toutes contribuent — par des évolutions progressives mais significatives — à orienter les structures sociales et institutionnelles vers une plus grande égalité relationnelle.» Pour autant que, politiquement, il reste des possibilités d’action, des programmes alternatifs et des financements pour ces programmes…
Améliorer la prise de décision : passer de l’humain dans la boucle à l’algorithme dans la boucle
« Au cours des années 2010, des villes américaines comme Philadelphie ou San Francisco ont proposé des guichets pour aider les organismes de services sociaux à fournir une aide plus équitable et plus efficace aux personnes sans-abri. L’objectif de l’accès coordonné est d’accorder la priorité en matière de logement aux personnes qui en ont le plus besoin.
Les algorithmes facilitent ce processus en quantifiant la vulnérabilité de chaque personne sollicitant une aide au logement. » Problème : les travailleurs sociaux n’ont pas intégré ces évaluations. Pire, ces algorithmes ont eu l’effet inverse : ils ont exacerbé la vulnérabilité des groupes les plus marginalisés (tels que les immigrés, les personnes transgenres et les personnes noires) et ont donné aux personnes sans-abri le sentiment d’être déshumanisées par le processus d’évaluation, comme le racontait le San Francisco Public Press en 2022.
« L’une des principales raisons de l’échec de cette initiative est que les travailleurs sociaux se sont trop reposés sur les algorithmes. Au lieu de considérer l’évaluation comme un outil permettant de contextualiser la situation de chaque individu, ils en ont fait le critère déterminant pour l’attribution d’un logement. Les agents chargés des dossiers ont fait valoir qu’ils n’avaient pas le « temps » de procéder à un examen plus personnalisé et que le questionnaire était plus simple à utiliser.
Cette dépendance excessive à l’égard des algorithmes de sélection a transformé un travail autrefois fondé sur l’accompagnement humain en une simple application rigide d’une formule. Auparavant, les travailleurs sociaux nouaient des relations avec les personnes sans abri afin de mieux cerner leurs besoins et de déterminer les formes d’aide les plus adaptées. Après l’introduction d’algorithmes d’accès coordonné au logement, les personnes en quête d’un toit n’ont plus bénéficié d’un accompagnement aussi personnalisé et respectueux. Elles étaient au contraire réduites à un simple numéro et, dans la plupart des cas, renvoyées à la rue.»
Cette histoire rappelle qu’il est très difficile de parvenir à une collaboration efficace entre humains et algorithmes. « On s’attend à ce que la combinaison de l’humain et des algorithmes permette de tirer le meilleur parti des deux mondes : la précision et la cohérence des algorithmes d’une part, l’expertise et le discernement des humains d’autre part. En pratique, toutefois, cette fusion idéale ne se concrétise que rarement.»
L’un des problèmes majeurs réside dans l’incapacité des humains à évaluer correctement la qualité des conseils fournis par les algorithmes ; même les experts peinent à distinguer les bonnes recommandations des mauvaises. Souvent, les décideurs humains accordent une confiance excessive à l’algorithme, ce qui les conduit à suivre des recommandations erronées ou biaisées. Ainsi, lorsque la police de Londres a testé un système de reconnaissance faciale en temps réel, les agents ont « largement surestimé la fiabilité du système », rapportait une analyse de l’AI Now institute. Alors que l’algorithme ne fournissait une réponse correcte que dans 19 % des cas, les agents ont approuvé 62 % de ses recommandations.
Pour relever le défi de la collaboration, les data scientists ont complété les recommandations d’explications permettant de décrire les raisons pour lesquelles l’algorithme aboutit à sa conclusion. C’est le champ de ce qu’on appelle l’IA explicable (XAI). Malgré l’engouement, force est de constater que ces explications n’améliorent généralement pas la collaboration entre humains et algorithmes. Dans de nombreux cas, les explications conduisent même à de moins bons résultats. Ce problème découle à nouveau de la prédominance du formalisme algorithmique. Si le domaine a défini ce qui caractérise une bonne explication en terme mathématique et a mis au point des outils d’explicabilité, les complexités sociales inhérentes aux collaborations entre humains et algorithmes ont du mal à être saisies par le biais d’abstractions et de métriques. A nouveau, pour Green, il est nécessaire de dépasser le formalisme pour dépasser cette limite. « Ce qui caractérise un algorithme utile, ce n’est pas sa précision maximale ni ses explications techniquement optimales. Ce qui caractérise un algorithme utile, c’est sa capacité à aider les utilisateurs à prendre de meilleures décisions.» Cela semble tautologique, mais observer si cet objectif est atteint ne s’observe pas sur la base de purs formalismes.
Dans l’approche formaliste, les spécialistes de data science insistent sur l’importance de maintenir un humain dans la boucle de décision. C’est au final toujours lui qui doit pouvoir décider, valider la recommandation du calcul. C’est un moyen censé prémunir des erreurs et des biais. De même, pour dépasser l’opacité intrinsèque aux calculs complexes, les data scientists privilégient des explications elles-mêmes automatisées. L’explicabilité est devenu le principe central et moteur de l’équité. Pourtant, cette explicabilité peine à produire des résultats et reste bien souvent très pauvre, incomplète… (absolument pas « projective », comme je le proposais moi-même). « Aider les utilisateurs à comprendre le fonctionnement d’un algorithme est très différent de les aider à utiliser ses conseils pour améliorer leurs décisions. Les convictions des data scientists quant à la qualité des explications ne correspondent donc pas à la pratique. » En fait, les explications ont pour effet involontaire d’accroître la confiance des utilisateurs envers les algorithmes, indépendamment de la qualité de ces derniers… et les incite à accepter plus facilement des conseils algorithmiques erronés.
Pour Green, à nouveau, il faut passer d’une approche formaliste en la matière à une approche réaliste. C’est-à-dire s’adapter à la manière dont les gens interprètent et utilisent les résultats des systèmes pour prendre des décisions, et pas seulement en faire des outils de décisions pour les gens. Ils doivent venir aider les gens à améliorer leurs décisions plutôt que de les prendre à leur place. Pour cela, ce n’est pas l’humain qu’il faut placer dans la boucle comme le proposent les conseils éthiques, mais l’algorithme, défend Green. En plaçant l’humain dans la boucle, on l’a vu avec la chaîne d’élimination automatisée des systèmes d’IA pour faire la guerre, trop souvent, on ne propose qu’une validation humaine de décisions algorithmiques trop complexes, une pantomime de contrôle. « À l’inverse, l’approche par un algorithme intégré au processus humain reconnaît que les algorithmes sont introduits au sein de processus décisionnels humains préexistants. Ici, ce sont les personnes qui prennent les décisions. Les algorithmes viennent compléter l’analyse de la personne en lui fournissant des éléments pour l’aider à évaluer la situation. Ce qui importe en fin de compte, c’est ce processus de décision humain, et non la capacité de l’algorithme à prendre seul de bonnes décisions ou celle de l’humain à superviser l’algorithme. Un système à algorithme intégré au processus humain, un « algorithme dans la boucle » est tout outil automatisé qui fournit des conseils aux personnes dans le but d’améliorer la prise de décision.»
Confrontés à des décisions à prendre, les humains doivent concilier des objectifs contradictoires. Lorsque les inspecteurs sanitaires choisissent les restaurants à contrôler par exemple, ils doivent concilier la priorité donnée aux établissements présentant les risques les plus élevés et la nécessité de répartir équitablement les inspections entre les différents quartiers. La manière dont ces acteurs pondèrent ces considérations concurrentes influence considérablement leurs décisions.
« L’existence de ces arbitrages implique que les décideurs disposent d’une marge d’appréciation pour déterminer l’issue la plus appropriée dans chaque cas. Bien qu’elle puisse susciter des inquiétudes quant aux risques de partialité ou d’incohérence, cette marge d’appréciation est un élément essentiel d’une prise de décision de qualité. Au quotidien, les bureaucrates de terrain sont confrontés à des situations ambiguës, incertaines et imprévisibles. Supprimer cette marge d’appréciation reviendrait à imposer une logique rigide et formelle à ces situations, empêchant ainsi les agents d’adapter leurs décisions à des cas complexes ou inédits.
Par ailleurs, imposer aux décideurs le respect de règles prescriptives violerait le principe normatif selon lequel les décisions doivent tenir compte de la situation et des besoins des individus. La marge d’appréciation est donc souhaitable, tant sur le plan pratique que normatif : elle permet aux décideurs de trouver un juste équilibre entre des valeurs et des objectifs contradictoires, en fonction des circonstances particulières.
Pour exercer leur pouvoir discrétionnaire de manière réfléchie et bénéfique pour la société, les décideurs doivent faire preuve d’un sens de la responsabilité morale quant à leurs choix. Craignant que cette marge d’appréciation ne favorise de mauvaises décisions ou des abus de pouvoir, les autorités imposent souvent des contraintes strictes aux actions des bureaucrates de terrain. Ces stratégies de contrôle et de conformité permettent généralement de prévenir les dérives les plus graves liées à l’exercice de ce pouvoir. Toutefois, leur efficacité est limitée – un contrôle précis s’avère très difficile dans ces contextes – et il a pour effet de démotiver les agents. Une stratégie bien plus efficace pour améliorer la prise de décision des agents publics consiste à responsabiliser les travailleurs et à leur accorder l’autonomie nécessaire pour exercer leur jugement de manière optimale », comme l’ont souligné bien des chercheurs tels que Michael Lipsky, Street-Level Bureaucracy: Dilemmas of the Individual in Public Services (Russell Sage Foundation, 1980), Bernardo Zacka, When the State Meets the Street: Public Service and Moral Agency (Harvard University Press, 2017) ou Dan Honig, Mission Driven Bureaucrats: Empowering People to Help Government Do Better (Oxford University Press, 2024). Le but d’un algorithme ne peut se réduire à améliorer sa précision (pour autant qu’il le permette réellement, comme le soulignaient les chercheurs Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024) et en pointant le fait que nombre de calculs n’améliorent que très marginalement leur résultats), mais doit prendre en compte nombre d’autres enjeux. Par exemple, un algorithme ne devrait pas chercher à « améliorer la précision des prédictions concernant la vulnérabilité des personnes sans-abri. » « À l’inverse, un projet intégrant des algorithmes dans la boucle décisionnelle déplacerait l’attention des prédictions vers les résultats concrets : « réduire le nombre de personnes vivant sans abri ou logement stable. » Par ailleurs, il conviendrait de prendre en compte les répercussions sur les travailleurs sociaux et sur les personnes sollicitant une aide au logement. Des objectifs connexes pourraient inclure : « améliorer le moral et le sentiment d’accomplissement des travailleurs sociaux » et « augmenter la proportion de personnes sans-abri estimant être traitées avec respect par l’organisme. » La nature multidimensionnelle de ces objectifs implique qu’il n’existera pas d’indicateur unique permettant de déterminer si le projet est une réussite.» D’une certaine manière, pourrait-on dire à la suite de Green, un système qui ne vise qu’à réduire le réel à une seule question sans ambiguïté, part d’une bien mauvaise analyse du réel et fournira par avance une mauvaise réponse.
Pour améliorer la décision, estime Green, il n’est pas toujours nécessaire d’amener des informations nouvelles à ceux chargés de décisions, mais de comprendre ce qu’ils priorisent déjà. Les travailleurs sociaux chargés de la protection de l’enfance dans le comté d’Allegheny, en Pennsylvanie, privilégient la sécurité immédiate des enfants, tandis que l’algorithme dont ils reçoivent les conseils (l’Allegheny Family Screening Tool, qu’avait étudié Virginia Eubanks) prédit la sécurité des enfants sur une période de deux ans. Cette différence explique pourquoi les travailleurs sociaux ont tendance à ignorer les suggestions de l’algorithme. Nombre de professionnels hésitent à suivre les conseils algorithmiques pour des décisions à forts enjeux, estimant que ces modèles négligent la dimension humaine et la situation particulière des individus. Enfin, pour être exploitables, les enseignements tirés d’un algorithme doivent s’inscrire dans les pratiques quotidiennes et les flux d’information de l’organisation. Dans le domaine médical, par exemple, l’élaboration d’un plan de traitement pour un patient comporte de nombreux aspects allant au-delà de la simple prescription de médicaments. Les médecins doivent prendre des décisions telles que la fréquence des consultations de suivi et l’éventuelle intervention d’autres professionnels de santé (par exemple, des kinésithérapeutes ou des thérapeutes comportementaux). Ainsi, les médecins indiquent qu’ils préféreraient recevoir des recommandations algorithmiques liées à ces étapes organisationnelles, plutôt que de simples indications sur le médicament à prescrire. Ils souhaitent également que ces conseils facilitent les échanges avec les patients et les collègues, car ils élaborent souvent les plans de traitement en collaboration avec ces différents acteurs.
Le développement d’un algorithme destiné à soutenir les conseillers d’une agence municipale de placement au Danemark met en lumière les avantages d’une collaboration étroite avec les décideurs et d’une ouverture d’esprit quant à la nature de la contribution à apporter. Dans ce cas précis, des spécialistes des données collaboraient avec des conseillers chargés d’aider les chômeurs à développer leurs compétences et à trouver un nouvel emploi. Au début du projet, les spécialistes des données prévoyaient de concevoir un algorithme capable de prédire quels demandeurs d’emploi présentaient le risque le plus élevé de chômage de longue durée. Il s’agissait là d’une approche classique en science des données, axée sur la prédiction de résultats individuels. Toutefois, les conseillers ont fait valoir qu’un tel outil entrerait en conflit avec leur éthique professionnelle. Pour eux, il est essentiel de croire en chaque chômeur et de l’aider à obtenir le meilleur résultat possible. Plutôt que des prédictions sur les comportements individuels, les conseillers ont demandé des prédictions concernant les processus organisationnels. Ils ont expliqué que l’un des principaux obstacles rencontrés par les usagers était la lenteur de l’avancement de leur dossier. Par exemple, des délais importants surviennent souvent lorsque l’agence doit rassembler les documents requis. Ces délais peuvent amener les demandeurs d’emploi à perdre confiance en eux et dans le processus d’accompagnement. Les spécialistes des données n’avaient jamais envisagé ce problème : ils supposaient que les dossiers étaient toujours traités rapidement. Or, les conseillers connaissaient bien ces délais longs et imprévisibles, qui constituaient un défi majeur dans leur travail. Pour y remédier, ils ont demandé un algorithme capable de prédire le temps d’attente estimé pour chaque personne. Cette information leur permettrait de préparer les demandeurs d’emploi au délai prévu et de les maintenir engagés dans des programmes tels que des thérapies ou des formations professionnelles durant cette période d’attente.
Cet exemple danois démontre que la contribution de la science des données qui semble la plus évidente n’est pas toujours la plus utile et l’importance à saisir les besoins de terrain.
Tout cela nécessite une immersion totale avec le terrain, explique Green. Il faut comprendre comment les agents interprètent les informations, si certains éléments leur semblent confus… Mais surtout, pour Green, cela suppose de dépasser la seule explication. Par exemple en proposant des exemples similaires pour les inviter à mettre leur décision en perspective ou en les invitant à réfléchir par eux-même à une décision avant de recevoir les recommandations des systèmes. « L’idée sous-jacente est que si les individus réfléchissent de manière autonome à une décision, ils l’analyseront plus en profondeur et seront mieux à même d’évaluer les recommandations de l’algorithme. Plusieurs études ont montré que les fonctions de « contrainte cognitive » conduisent à des prédictions humaines plus précises que les scénarios où les utilisateurs ont un accès immédiat aux recommandations algorithmiques. »
Une autre manière de faire consiste à guider le raisonnement sans recommander de décisions. Une autre manière encore consiste à proposer un éventail de choix par exemple en les rendant interactifs, permettant aux utilisateurs d’évaluer les conséquences des choix qu’ils ont à faire. « En encourageant une implication active – plutôt que passive – dans les systèmes intégrant l’humain dans la boucle algorithmique, l’interactivité aiderait les professionnels à préserver leur sens de la mission et leur autonomie lors de l’utilisation d’algorithmes, évitant ainsi de réduire leur pouvoir discrétionnaire à une simple formalité administrative.»
L’interactivité permet de conjuguer les capacités prédictives d’un algorithme aux connaissances spécifiques et contextuelles et à la démarche d’investigation du décideur. Ainsi, plutôt que de faire des recommandations de prescriptions pour traiter la dépression par exemple, les médecins devraient pouvoir adapter les systèmes aux situations individuelles.
Dans son manuel, Green soutient que la clé réside dans une interaction profonde des data scientist avec les usagers et ceux qui déploient des outils. Leur intervention ne peut être ponctuelle, plaide-t-il, elle doit s’inscrire profondément dans les pratiques réelles. Il invite également à se défaire du solutionnisme pour produire des systèmes qui élargissent les choix plutôt qu’ils ne réduisent, comme il le disait déjà il y a quelques années. A observer ce que les praticiens en pensent, comment ils réagissent aux systèmes et pas seulement à les déployer voire à les imposer, au risque de leurs échecs. Le développement algorithmique ne peut pas se faire à l’encontre des missions que remplissent les gens. « Les défaillances persistantes des collaborations entre humains et algorithmes sapent la théorie du changement qui sous-tend de nombreux projets de science des données, laquelle vise à obtenir de meilleurs résultats sociaux en améliorant la prise de décision.»
Green termine son livre en prévenant les data scientists de se défier de l’IA générative. L’IA générative accélère et prolonge la logique du formalisme algorithmique. Le risque est de les considérer comme des outils polyvalents, susceptibles d’être appliqués à grande échelle, négligeant toutes les spécificités contextuelles qu’il met en avant dans son manuel.
« Si la science des données continue à suivre le formalisme algorithmique, le domaine produira des outils de plus en plus puissants sur le plan technique, mais souvent inutiles, voire nuisibles sur le plan sociétal. » Face à l’automatisation qui risque de rendre le scientifique des données obsolète, il est nécessaire de réarmer ses capacités. C’est ce que ce manuel propose. « Le réalisme algorithmique offre une piste pour permettre aux data scientists de se distinguer dans un monde où de nombreux aspects techniques de la science des données ont été automatisés. En concevant les algorithmes comme des outils opérationnels plutôt que comme des modèles mathématiques, le réalisme algorithmique redéfinit l’expertise qui caractérise un data scientist efficace.»
Pour l’instant, et cela risque d’être pire à mesure que l’IA se répand partout, « la plupart des data scientists sont formés et employés dans des environnements qui n’encouragent pas – et souvent découragent – le réalisme algorithmique. » De l’enseignement à la recherche, le domaine, pour ne pas disparaître sous les applications produites par l’IA, a besoin de s’ouvrir aux enjeux sociaux et aux applications concrètes, plaide Green. Or, « on continue d’enseigner aux étudiants des sciences de l’information que les dimensions sociales et éthiques des algorithmes sortent du cadre », comme l’expliquait l’ingénieur Jimmy Wu. Pour remédier à cela, il faut reconnecter l’éthique à la pratique. Nous devons sortir des façons dont on enseigne l’éthique dans les écoles d’ingénieurs que ce soit par leur mise en œuvre mathématique et formaliste comme par le biais de dissertations morales déconnectées des enjeux applicatifs. « Il ne s’agit pas d’enseigner l’éthique de manière abstraite aux étudiants en science des données, mais de leur transmettre les orientations et les compétences favorisant une pratique éthique de la discipline ». Il recommande également d’avoir plus de cours cliniques, c’est-à-dire de faire travailler les étudiants sur des projets réels. Et d’aider les étudiants à quitter le monde de la tech où le formalisme règne en maître ou sinon à leur apprendre à promouvoir des produits et des comportements éthiques au sein des entreprises et à faire face aux dilemmes éthiques auxquels ils sont confrontés.
*
Green ne promet pas de révolution algorithmique. Il propose à la data science de se poser des questions que bien peu se posent, de faire un pas de côté. D’arrêter de croire que le calcul est la solution quand, bien souvent, il est le problème qui ne voit pas ses effets.
Hubert Guillaud
