Dans la même rubrique
Pour répondre aux nombreux problèmes que posent l’IA, l’une des solutions souvent évoquée consiste à renforcer son caractère démocratique en imaginant des solutions pour élargir la participation des usagers à la conception et dans la gouvernance des systèmes. Mais si tout le monde parle d’inviter les utilisateurs à la table de la conception des systèmes, à mesure qu’ils se complexifient, cela semble de plus en plus difficile. Quand c’est le cas, les contributions des utilisateurs restent de plus en plus lointaines, sans parvenir à peser sur les évolutions du secteur. Cela n’a pas empêché un aréopage de chercheurs menés par Meg Young de Data & Society, de regarder, pour First Journal, les tensions en cours dans les exigences à l’égard d’une IA plus participative – l’article est signé également Upol Ehsan, Ranjit Singh, Emnet Tafesse, Michele Gilman, Christina Harrington et Jacob Metcalf.
Une participation très limitée
Dans l’industrie, la participation des publics est souvent très limitée. Elle consiste à affiner certaines des règles qui guideront le comportement de produits déjà créés. Les chercheurs de DeepMind ont construit une méthode pour cela, Stela (pour SocioTEchnical Language Agent Alignment), une méthode de discussion pour questionner les règles générales de leurs produits. Les chercheurs d’Anthropic, eux, ont développé un projet de constitution pour cadrer leur système d’IA, Claude. Cette proposition d’ « IA constitutionnelle » proposée par les employés d’Anthropic a ensuite été discutée en ligne par des utilisateurs. Même OpenAI a lancé quelques initiatives. Mais ces formes de participation restent très limitées et sans grand impact. Elles visent bien plus à légitimer les développements qu’à les remettre en cause, puisque ces formes de participation « ne permettent pas aux publics de contester, rejeter ou modifier le développement des systèmes ». Les méthodes et les objectifs assignés à la participation des publics par les entreprises de l’IA sont peu normalisées. Bien souvent, les entreprises recueillent des avis sur des dispositions spécifiques, sans ouvrir à la discussion sur les décisions clés. Les auteurs parlent assez justement de « proxy de la participation » pour évoquer des échanges qui ont l’apparence de la consultation, sans grands effets.
Un constat d’impuissance, qui n’est pas sans rappeler la critique que faisaient Manon Loisel et Nicolas Rio dans leur livre sur les limites de la démocratie participative ou celle du juriste Thomas Perroud sur l’absence des utilisateurs dans les décisions administratives. On peut avoir d’ailleurs le même sentiment à écouter les retours sur l’impact des conventions citoyennes locales sur l’IA qui ont pu être mises en place à Montpellier ou à Rennes. Si l’exercice démocratique est intéressant comme l’explique le Conseil national du numérique, les participants ont notamment souligné que les citoyens étaient peu présents dans les réflexions sur l’IA et que toute la difficulté pour l’instant consiste à faire remonter leurs inquiétudes et préconisations. Mêmes constats de l’autre côté de la Manche avec les panels citoyens sur l’IA mis en place en marge de l’AI Safety Summit de novembre 2023, qu’évoque Alicza Peszkowska pour Open Future (qui a également lancé ses propres ateliers citoyens sur le sujet). Ces panels de « mini-publics » (une douzaine de personnes, sélectionnées pour leur représentativité) ont certes permis de produire des conclusions en un temps très court (6 semaines), mais ont produit elles aussi des recommandations assez classiques que l’on retrouve dans la plupart des discussions assez générales avec les publics, comme d’assurer un gouvernance de l’IA via une assemblée permanente de citoyens et d’experts. Dans tous ces cas, ce que l’on constate c’est que bien souvent le recours aux citoyens produit des recommandations de bon sens et assez générales, mais peu actionnables et trop ponctuelles. Le niveau de discussion reste trop général et peu spécifique. Et les procédures qui permettraient de faire remonter ces décisions jusqu’aux systèmes eux-mêmes sont la plupart du temps inexistantes.
En regard, les protocoles des entreprises technologiques en matière de participation sont souvent plus précis et fonctionnels. Mais ils s’adressent bien plus à certains usagers qu’à d’autres, expliquent les auteurs de l’article de First Journal. Ils ont tendance par exemple à recueillir des commentaires d’utilisateurs et d’experts, à utiliser des méthodes de signalement de bugs participatifs, voire à constituer des comités de surveillance ou d’éthique dédiés, comme l’a fait Meta avec son conseil de surveillance (dont on a déjà pointé les limites). Plus qu’une gouvernance démocratique, ces efforts tiennent bien plus d’une « gouvernance en réseau » qui vise à négocier la responsabilité à la marge et surtout à apaiser les revendications et contestations. Quant à la participation du grand public, elle reste là encore anecdotique.
Un problème d’échelle ?
Pourtant, dans les écrits plus critiques de l’éthique de l’IA (on peut penser aux propos de Ruha Benjamin, de Sasha Constanza-Chok ou encore à ceux de Lauren Klein et Catherine D’Ignazio…), le tournant participatif vise une gouvernance plus large et cherche à impliquer les publics les plus impactés et les plus vulnérables dans les processus décisionnels… Ces critiques invitent à les faire intervenir sur la manière dont les systèmes d’IA doivent être conçus et gouvernés, à développer des processus de conception plus participatifs. L’objectif, ici, vise bien plus à insuffler une responsabilité publique, mais souvent via des méthodes participatives très localisées et spécifiques. Reste que, au-delà des principes, il existe peu de méthodes ni d’effets clairs de transfert de pouvoir vers les personnes affectées par ces systèmes, rappellent les auteurs. Et ce d’autant moins à l’heure où les systèmes d’IA fonctionnent à l’échelle globale, dans tous les contextes nationaux ou linguistiques et dans tous les domaines, de l’embauche à la justice pénale… La différence d’échelle entre les rares dispositifs participatifs mis en place et l’impact des systèmes est totale et frappante. Or, la question de l’échelle justement est liée aux niveaux d’investissements dans ces dispositifs (et sont souvent très faibles) et est un principe organisateur central du développement logiciel à l’image des réseaux sociaux qui proposent à tous les utilisateurs la même expérience afin de réaliser des économies d’échelle justement… L’économie politique des plateformes exige que leurs produits et modèles économiques soient dépourvus de sens du lieu, du temps, du contexte, comme des individus qui sont tous traités avec les mêmes processus. Tout l’inverse des traditions participatives, donc ! Enfin, quand des initiatives participatives existent, celles-ci sont souvent locales ou spécifiques, les initiatives participatives nationales ou globales restent rares, vagues, peu suivies d’effets.
Pour les auteurs, cette tension entre les échelles opérationnelles de l’IA commerciale et la conception participative pourrait cependant être dénouée. La tradition participative vise avant tout l’autodétermination et le changement de pouvoir, pour cela, il faut que des moyens soient donnés aux communautés pour identifier les problèmes et agir sur ceux-ci, qu’elles puissent désigner des représentants, et que les ressources mobilisées et les résultats puissent être partagés avec d’autres communautés. Encore faudrait-il, soutiennent les auteurs, que ces investissements et moyens puissent être proportionnés à l’ampleur du développement de l’IA commerciale. Nous en sommes loin ! Les 100 000 dollars qu’a concédé OpenAI aux questions participatives en est certainement l’exemple emblématique, puisqu’ils ne représentent que 0,0001% de la valorisation d’OpenAI (qui est d’environ 80 milliards de dollars).
En fait, les entreprises technologiques semblent enferrées (assez volontairement) dans des difficultés persistantes à faire monter le niveau de participation. Les législateurs invitent souvent à recourir à la participation et à la consultation des publics, mais en poussant des recommandations souvent abstraites. Aux Etats-Unis, le décret de 2023 sur l’IA invite ainsi à « un engagement avec les communautés concernées ». L’AI Act européen évoque la participation des parties prenantes et des publics, sans préciser comment. Dans la réalité, les entreprises technologiques n’ont investi dans aucune infrastructure permettant ne serait-ce que de recueillir des contributions. « Aujourd’hui, nous avons accès à de nombreuses connaissances et savoir-faire pour développer les infrastructures techniques, mais moins sur les infrastructures sociales qui seraient nécessaires pour organiser une participation publique significative pour répondre à ce besoin ».
Pourtant, l’histoire de la conception participative n’est pas anecdotique
La conception participative dans le domaine des technologies a pourtant une histoire, rappellent les chercheurs. Un examen attentif des leçons tirées de la tradition participative démontre que même si les méthodes participatives ont tendance à agir sur le contexte local, leur principal engagement n’est pas le localisme, mais le transfert du pouvoir.
La conception participative dans le domaine de l’interaction homme-machine engage les utilisateurs dans le processus de conception dans le but de mieux soutenir leurs intérêts et leurs objectifs. On fait remonter son origine aux années 70, à la collaboration entre des chercheurs et un syndicat de travailleurs de la métallurgie pour redéfinir l’usage de données collectées par leur employeur. Depuis, de nombreux concepteurs ont sollicité l’avis des utilisateurs dans le processus de conception, allant du recueil de commentaires à des expériences réelles de coconception. Mais la question de l’intégration des utilisateurs n’est pas qu’une question méthodologique, rappellent les chercheurs, elle est aussi une question politique. Nombre de travaux avec les utilisateurs ont été critiqués parce qu’ils favorisaient les intérêts commerciaux des commanditaires plutôt que de chercher à intégrer les valeurs des utilisateurs. La conception participative a été également très influencée par la recherche-action et les travaux avec des organisations communautaires, inspirée des pratiques féministes, des mouvements populaires de défense des droits civiques et des mouvements ouvriers, visant à réaffirmer la nécessité de l’autodétermination et la résolution collaborative de problèmes. Quant au niveau de participation des publics, il est bien souvent exprimé à travers une échelle allant de l’absence de participation jusqu’au contrôle citoyen, comme si la participation significative relevait d’une échelle.
Pour les chercheurs, cette tension de l’échelle, entre la tradition participative localisée et l’échelle internationale de l’IA commerciale, amène des défis spécifiques. Pour redistribuer le pouvoir vers les personnes les plus touchées par l’IA, il va falloir des investissements élevés et de nouvelles infrastructures sociales et juridiques. Mais y parvenir nécessite de soulever plusieurs défis : d’abord, l’IA est un matériel complexe et difficile pour engager des méthodes participatives. Notamment parce qu’avec l’IA, rien n’est stable, pas même les résultats. Un second défi consiste à identifier qui devrait participer. A l’échelle locale, l’identité des participants est immédiatement pertinente, mais à l’échelle de l’IA, la question est plus ouverte, notamment parce que ses effets sociaux sont mouvants. Les travaux sur l’éthique de l’IA documentent de nombreux cas où l’IA échoue, par exemple dans le domaine de la reconnaissance faciale, à l’égard des femmes et des personnes de couleurs, comme l’ont montré les travaux de Joy Buolamwini. Pour réparer l’équité, l’industrie de la tech a surtout répondu par des solutions techniques plutôt que par le dialogue avec les communautés, à l’image de la métrique de teint de peau plus complexe qu’a développé Google. Dans l’IA, on ne sait pas qui est visible et qui ne l’est pas, quels sont les groupes ethniques ou religieux calculés ou invisibles. Enfin, le dernier défi consiste à trouver l’équilibre entre les approches qui visent à instrumentaliser la participation pour améliorer une technologie et celles qui visent l’autodétermination des publics, qui nécessitent souvent une implication continue plus que ponctuelle, tout le long du projet.
3 exemples de participation en leurs forces et limites
Les chercheurs terminent en observant trois exemples de participation emblématiques. La première, ce sont les programmes de contrôle communautaire de la surveillance policière (Ccops), initiés en 2017 par la ville de Seattle et rejoints depuis par plusieurs villes américaines. Selon ces programmes et les municipalités qui l’adoptent, les conseils municipaux valident les outils de surveillance que la police acquiert, que ce soit des outils de police prédictive, de reconnaissance faciale ou de lecture de plaques d’immatriculation. Pour chaque service envisagé, l’administration concernée doit produire un rapport d’impact de la surveillance qui doit décrire la technologie, ses impacts sur les droits civils, et faire retour des commentaires des présentations publiques, notamment ceux réalisés auprès des groupes défavorisés. Chaque rapport est évalué et, si le déploiement technique est autorisé, il reste soumis à une évaluation annuelle qui regarde ses effets sur l’équité et ses réponses aux plaintes et préoccupations du public. Ce fonctionnement a certes conduit à une plus grande transparence sur l’utilisation des technologies de surveillance par la police et notamment à interdire l’usage de la reconnaissance faciale dans quelques villes. Mais cette organisation a cependant des limites. Le conseil municipal par exemple n’a pas à se conformer à l’avis du public (qui est consultatif), les réponses des services sont parfois opaques voire trompeuses et mobiliser les communautés s’est révélé souvent difficile d’autant que l’engagement demandé pour le public est long et complexe. Enfin, pour beaucoup, ces consultations publiques semblent bien plus légitimer les technologies de surveillance que les stopper. Reste que ces dispositifs ont l’avantage de représenter les communautés touchées et d’être continus. Pourtant, ils ne permettent pas aux populations d’interagir directement avec les développeurs, puisque le conseil municipal et les administrations restent les intermédiaires du processus. « Rien ne prouve encore que cette loi ait modifié la conception même des technologies en question », soulignent pertinemment les chercheurs.
Autre exemple, celui des méthodes participatives organisées par l’Observatoire des algorithmes des travailleurs (Workers algorithm Observatory, WAO) lancé par Dan Calacci, Samantha Dalal et Danny Spitzberg. Ici, l’enjeu a été d’intégrer des travailleurs de plateformes aux enjeux que posent les systèmes algorithmiques, sur la répartition du travail ou la rémunération avec des systèmes doublement opaques. Opaques parce que complexes à comprendre et opaques parce que fermés. Le projet WAO s’inspire directement de l’histoire de l’enquête ouvrière qui avait pour objectif de produire des connaissances et de créer de la solidarité pour intensifier l’organisation des travailleurs. WAO a conçu un outil de partage de données pour que les travailleurs des plateformes puissent les partager avec les chercheurs ainsi que des entretiens pour comprendre les enjeux qui leur importaient. WAO est un exemple de « participation infrastructurelle », qui permet non de co-concevoir le système, mais de mieux définir ses impacts par ceux qui les subissent directement. Là encore pourtant, il n’existe pas de mécanismes pour faire interagir les personnes impactées et les développeurs, autrement qu’en aidant les chauffeurs à faire valoir des revendications plus précises auprès des entreprises qui les utilisent.
Le dernier cas pris en exemple par les chercheurs est celui de l’Institut invisible, un organisme de journalisme d’investigation communautaire de Chicago qui, dans le cadre d’un procès, a étudié les 27 000 plaintes à l’encontre du service de police de Chicago entre 2011 et 2015. Le projet Beneath the Surface par exemple a recruté et formé des bénévoles pour recueillir les expériences de violence policière de la communauté. Les participants ont déterminé les paramètres du recueil de données, leur étiquetage, les représentations qui ont été faites comme les outils utilisés, permettant à tous de réaffirmer leur pouvoir sur les documents enregistrés par la police. Ici, les participants ont codé eux-même les dossiers de police en valorisant les préjudices subis par la communauté, et surtout le projet redonne du pouvoir à ceux qui ont subi les violences, mais là encore, sans lien avec ceux qui les ont produites.
« L’argument moral en faveur de l’IA participative est que ceux qui sont les plus proches des conséquences de la technologie possèdent une connaissance unique et faisant autorité sur le fonctionnement des systèmes sociotechniques, et devraient disposer d’un pouvoir substantiel pour déterminer la manière dont ces systèmes sont conçus et fonctionnent », rappellent les chercheurs en conclusion. « En revanche, l’autorité épistémique de l’industrie de l’apprentissage automatique découle d’une source directement opposée : le caractère non-situé de la modélisation ». Les gens occupent des points de vue situés, pas les modèles. L’apprentissage automatique est une pratique consistant à faire abstraction du type de contextes dans lesquels les gens vivent réellement – un modèle d’apprentissage automatique est une description mathématique de la manière d’atteindre efficacement un résultat souhaité, dérivée de données historiques sur la façon dont cette tâche a été réalisée auparavant. Bien que chaque élément des données de formation ait été collecté dans un contexte, le but de l’abstraction est de trouver une règle qui peut être appliquée de manière générale sans référence au contexte. Ce modèle, par nature, s’abstrait donc des concepts d’équité ou de justice. « La modélisation est par définition la création d’une abstraction, et la valeur économique de cette abstraction augmente généralement à mesure qu’elle est réutilisée en dehors du contexte de sa collecte », expliquent les chercheurs. Elle impose une uniformité aux contextes.
« Les tensions entre échelle et participation ne proviennent donc pas de différences de taille, mais de différences quant à la personne qui détient l’autorité, à la manière dont cette autorité est exercée et à ce qui peut être accompli avec le pouvoir qu’apporte cette autorité ». Pour les chercheurs, l’enjeu est de trouver des méthodes et infrastructures qui permettent de relier l’autorité épistémique de la participation avec celle de la modélisation.
Une participation en chien de faïence ?
Pourtant, pour ma part, il me semble que ces différences d’échelles et de pouvoir montrent plutôt que la discussion entre les producteurs de systèmes et leurs publics ne se réalisent pas. Dans les trois exemples proposés, les systèmes ne rencontrent pas leurs utilisateurs, comme si la participation était finalement toujours évitée, toujours rendue impossible, comme si les enjeux des utilisateurs à faire reconnaître leurs droits étaient incompatibles avec les enjeux des systèmes à imposer les leurs. Dans l’exemple de WAO comme dans celui de l’Institut invisible, l’enjeu est d’utiliser les données autrement, en dehors des systèmes, de les utiliser au profit des utilisateurs quand les systèmes les utilisent surtout contre les gens qu’ils calculent. Dans les conventions citoyennes locales, là aussi, les citoyens ne croisent pas vraiment les développeurs et les systèmes. Les critères, les données retenues, les fonctionnalités sont rarement débattues.
Autant d’exemples qui montrent que la participation ne se résout pas sans poser la question du pouvoir et donc du contre-pouvoir. Pour l’instant, on assiste surtout à une participation en chien de faïence, entre des modalités qui ne discutent pas, car rien n’est fait pour organiser le débat entre elles. Les industriels choisissent leurs participants dans une participation de réseau aux enjeux limités. Les contestataires comme les assemblées de citoyens déploient leurs revendications dans des participations d’opposition qui n’ont pas de voie de retour vers les ingénieurs et décideurs des systèmes techniques. A nouveau, les dispositifs censés organiser une participation n’en organisent pas.
C’est certainement là que le régulateur à un rôle à jouer. C’est à lui « d’organiser la confrontation des intérêts divergents », disaient Manon Loisel et Nicolas Rio dans leur excellent livre, Pour en finir avec la démocratie participative. Et c’est ce que ces dispositifs ne parviennent pas à faire, notamment parce que nulle autorité n’en assure les règles. En laissant l’industrie définir la participation et ses modalités, comme c’est le cas dans les recommandations que font les autorités en les invitant à faire participer les publics, on n’aide pas l’industrie à avancer. On n’aide pas à faire se rencontrer les développeurs et leurs publics. La participation ne devrait pas être mobilisée pour canaliser les mécontentements, comme elle est trop souvent employée, mais bien pour confronter les opinions et organiser les compromis comme les refus. C’est à cela que le régulateur devrait travailler.