De la pantomime du contrôle humain

Mais pourquoi le régulateur est-il si obnubilé par l’idée d’intégrer un contrôle humain des décisions algorithmiques ?

Hubert Guillaud

Sur son blog, le chercheur Antonio Aloisi raconte une anecdote éclairante sur la pantomime du contrôle humain (que nous avons déjà plusieurs fois évoqué, notamment dans cet article sur l’IA pour faire la guerre, où l’on pointait que l’opérateur, face aux décisions des machines pour engager une cible, n’avait pas beaucoup d’éléments pour la réfuter). Le contexte n’est pas du tout guerrier : à un aéroport pour prendre l’avion, il s’est retrouvé sur liste d’attente, comme cela arrive souvent désormais, avec le surbooking algorithmique. « L’algorithme de la compagnie avait vendu plus de billets que de sièges disponibles, et le personnel était présent pour nous aider à trouver une solution à cette erreur générée par une machine. Bien entendu, leur marge de manœuvre était extrêmement limitée. » Il n’y avait que 2 places de libres et elles ont été attribuées aux 2 premières personnes de la liste d’attente, sans prise en compte des situations individuelles. Alors, certes, il y a bien un humain à l’étape finale d’une chaîne de décisions complexe, mais là aussi, leur rôle est réduit puisqu’il se limite à obéir à la procédure. « L’humain présent dans la boucle était réduit à n’être que le porte-parole de la loi algorithmique ». 

« Ces dernières années, nous en sommes venus à croire que la plupart – sinon la totalité – des failles inhérentes aux décisions prises par une intelligence artificielle peuvent être atténuées, voire totalement corrigées, par l’intégration d’un humain dans le processus. Peu importe la configuration : en amont, en aval, au sein de la boucle, en périphérie, aux commandes ou partout à la fois. Comme l’a souligné Riikka Koulu, directrice du Legal tech Lab d’Helsinki, l’implication humaine est devenue un élément central de l’imaginaire réglementaire. » Les dispositifs impliquant une intervention humaine (human-in-the-loop, c’est-à-dire, qui consiste à mettre l’humain dans la boucle de décision) peuvent être perçus comme une forme d’équité procédurale, qui se déploie aux différentes étapes de la prise de décision automatisée. « Ils poursuivent deux objectifs distincts mais interdépendants. Le premier consiste à préserver l’imputabilité, en réattribuant la responsabilité à des acteurs humains. Le second vise à créer les conditions d’une correction sur le fond, en permettant aux humains d’examiner, de contester et, si nécessaire, d’annuler la décision elle-même. » Mais c’est là une mission titanesque qu’ils n’ont pas les moyens de mener, explique Aloisi, comme le montre la situation de l’employé de la compagnie aérienne. 

Si les régulateurs affectionnent tant le principe de l’intervention humaine, ce n’est pas sans raison. Il s’inscrit parfaitement dans la logique dominante d’une régulation fondée sur les risques et dans une culture de la conformité. Il suffit de désigner un responsable, de lui assigner un rôle pour cocher la case de la conformité. Du point de vue de l’auditeur, la supervision humaine est une aubaine : vérifiable, documentée, et facilement traduisible par une simple mention « présent/absent » sur une liste de contrôle de conformité. Cette disposition est « bien plus simple que de démontrer, par exemple, qu’un système d’IA est réellement non discriminatoire. La capacité de la personne concernée à exercer un contrôle effectif est, comme par hasard, une autre question. » 

« Les risques nés en amont, lors de la conception d’un système ou des décisions organisationnelles relatives à son déploiement, finissent par retomber sur les épaules d’un seul responsable. Souvent sans aucun transfert d’informations, de ressources, de formation ou d’autorité. L’humain devient le dernier rempart contre des défaillances qu’il n’a pu prévenir (et dans une décision sur laquelle, au final, il n’a pas prise). Pire encore, il sera tenu pour responsable lorsque le système s’effondrera inévitablement. » L’humain censé être habilité est bien souvent la personne la moins influente dans des scripts sur lesquels il ne maîtrise aucun élément. L’humain est censé sauver la machine, sans aucun moyen pour se faire. 

Mais surtout, remarque pertinemment Aloisi, on a au bout de la boucle un individu isolé, supposément capable de rectifier les décisions produites par des systèmes complexes et de puissantes organisations, mais aucun acteurs collectifs. Seulement des acteurs isolés, sans grand pouvoir et sans grande compréhension. 

Maintenir un humain quelque part dans la chaîne de décision automatisée a quelque chose de simple et rassurant. Mais, comme s’en moque la chercheuse Ida Koivisto, cet humain dans la boucle, ce sur-humain que l’on retrouve dans toutes les réglementations européennes, semble un superviseur omniscient doté de tous les pouvoirs sur les systèmes. « L’humain, censément sauvé des limites de sa propre intelligence par une machine sophistiquée, doit en quelque sorte devenir encore plus capable que la machine de la superviser. » Bien sûr, comme l’explique la chercheuse Karen Yeung dans un chapitre du livre Algorithmic Regulation, lorsqu’un système est relativement simple (un portique automatique par exemple), la présence d’un agent pour vous aider à passer un système bloqué est une garantie raisonnable. Mais face à des systèmes complexes, l’humain se révèle bien démuni. Son contrôle limité n’est en rien une preuve qu’un humain est en contrôle. 

Dans un article remarquablement visionnaire de 1983, « Les ironies de l’automatisation », la psychologue Lisanne Bainbridge a démontré comment l’automatisation peut rendre les tâches humaines restantes plus difficiles plutôt que plus faciles, rappelle Aloisi. Intervenir en cas d’anomalie peut vite se révéler compliqué, comme l’ont documenté les problèmes liés à la reprise en main humaine face au pilotage automatique. « Plus le copilote automatisé devient fiable, moins son homologue humain risque d’être préparé aux situations exceptionnelles où son intervention est requise.»  

« Mais l’éventualité la plus troublante est sans doute que la collaboration entre humains et machines ne combine pas leurs forces. Elle risque au contraire d’amplifier leurs faiblesses. C’est la préoccupation soulevée par Rebecca Crootof, Margot Kaminski et W. Nicholson Price : l’idée séduisante que le jugement humain et l’intelligence artificielle se complètent naturellement peut masquer les difficultés de leur collaboration. Les humains apportent leurs biais, les machines leur opacité : et le système qui en résulte risque d’être plus difficile à comprendre, à remettre en question et à contrôler. L’union tant vantée entre l’humain et l’intelligence artificielle pourrait bien produire le pire des deux mondes. »

Reste à comprendre pourquoi le régulateur est si obnubilé par l’idée d’intégrer un dernier humain au bout du processus. « Les humains n’ont jamais été absents pourtant. Ils ont déterminé les points à optimiser par le système, sélectionné et étiqueté les données d’entraînement, établi des indicateurs de performance, acquis le logiciel et organisé l’environnement de travail en fonction de ses recommandations. Une véritable armée de personnes a déjà contribué à la mise en place de ce processus automatisé. Pourtant, les instances réglementaires semblent particulièrement fascinées par le dernier maillon de la chaîne. Pourquoi ajouter une personne supplémentaire serait-il plus rassurant que de réexaminer les décisions déjà intégrées au système ? » C’est un peu comme si la loi semblait déterminée à préserver au moins une fonction pour l’humanité : vérifier, corriger et, occasionnellement, interrompre le travail des machines, ironise le chercheur.  

Le problème, comme toujours, est surtout institutionnel. « Dans son article sur le contrôle humain dans les politiques d’IA, Riikka Koulu explique pourquoi l’implication humaine est une solution réglementaire si séduisante. Elle est relativement facile à mettre en œuvre, à observer et à documenter. Une personne a été officiellement chargée de la supervision. Une autre a examiné la recommandation. Une autre a cliqué sur le bouton. L‘organisation peut ainsi démontrer l’existence de la procédure, même si sa capacité à modifier le résultat reste douteuse. Le contrôle risque de se réduire à une coquille vide, une sorte de théâtre de la conformité. » 

« Dans son article influent sur les zones de déformation programmée, l’anthropologue Madeleine Clare Elish affirmait que, tout comme la zone de déformation d’une voiture absorbe la force d’une collision, l’opérateur humain d’un système automatisé peut finir par endosser la responsabilité de défaillances sur lesquelles il n’avait que peu de contrôle réel. Le système dysfonctionne et l’explication se transforme en erreur humaine. La personne censée nous protéger de la machine devient celle qui protège la machine, ainsi que ses concepteurs et ses déployeurs, de toute responsabilité. En fin de compte, la présence d’une personne formellement habilitée à examiner ou à annuler une décision ne change rien au fait que l’automatisation reste fermement aux commandes. De plus, les humains peuvent hésiter à intervenir précisément parce que cela les expose à la responsabilité de défaillances systémiques sur lesquelles ils n’ont que peu, voire aucun contrôle. Le désengagement devient alors une forme d’autodéfense. » Et c’est exactement ce que fait l’employé de l’aéroport en se déportant sur la liste chronologique de la liste d’attente.   

« Parallèlement, les travailleurs et leurs représentants manquent souvent de ressources, de formation, d’informations et de pouvoir de négociation pour exercer un contrôle efficace. De plus, le système de direction algorithmique est rarement le fruit d’une seule organisation. La plupart des entreprises ne développent pas leurs propres systèmes d’IA ; elles les achètent ou les louent auprès de fournisseurs externes, souvent sous forme de logiciels prêts à l’emploi. Cela introduit un nouveau niveau de fragmentation : précisément au travail. Le fournisseur conçoit le système, mais peut avoir une connaissance limitée du contexte professionnel dans lequel il opère. L’employeur décide de le déployer, mais peut ne pas en comprendre pleinement le fonctionnement. Le service informatique gère l’infrastructure, le service juridique vérifie la conformité, les RH fournissent les données et mettent en œuvre les recommandations, tandis que les représentants du personnel, lorsqu’ils sont impliqués, tentent de négocier les règles du jeu. Ensuite vient le responsable humain, chargé d’interpréter le résultat final et d’intervenir en cas de problème dispersés tout au long de la chaîne, pour finalement se retrouver, bien malgré eux, sur les épaules du dernier humain encore présent. La personne la plus proche d’une décision est parfois celle qui dispose du moins de pouvoir pour la modifier. »

« Nous concevons des systèmes complexes, vantons leur supériorité sur le jugement humain et réorganisons des environnements de travail entiers autour de leur efficacité supposée. Puis, tout au bout de la chaîne, nous plaçons un être humain et lui demandons de sauver la mise dès que quelque chose tourne mal. Un humain qui, bien souvent, n’a eu aucun mot à dire sur la conception, n’a eu accès à aucune information, n’a pas eu le temps d’examiner les résultats et ne possède que très peu d’autorité pour contester l’organisation qui l’emploie. La question est donc de savoir quel humain se trouve dans la boucle, ce qu’il y fait, avec quelle autorité, aux dépens de qui et au profit de qui. Or, le milieu professionnel – avec ses hiérarchies rigides et sa répartition inégale du pouvoir – est sans doute l’endroit le moins propice pour faire semblant que ces questions n’aient aucune importance.»

A l’aéroport, l’agent a parfaitement accompli sa mission. Les procédures ont été respectées, les sièges disponibles attribués, tandis que le chaos algorithmique, lui, est resté intact. Les autres passagers, eux, sont restés sur le carreau, avec pour seule ressource un guichet d’assistance et un ensemble de droits à faire valoir. L’humain était là : visible, poli, rassurant. Il était en mesure d’expliquer la décision, de la communiquer et d’en gérer les conséquences. « Mais il lui était impossible de la modifier réellement. Il n’a jamais vraiment intégré la boucle. »