Quand on fait réaliser un calcul par une machine, aussi complexe soit-il, la plupart du temps, ce qui est garanti, c’est l’assurance du résultat, sa stabilité, sa performance. C’est le principe d’une calculatrice ou d’un logiciel : on a au bout le résultat et les fonctions prévues. Dans un système de calcul comme les impôts, on prend des données et des règles de calcul – qui peuvent être perfectibles, certes – et on obtient des résultats sans ambiguïtés, pour autant que les données et les règles de calcul n’en comportent pas – ce qui n’est déjà pas si évident à réussir ! Dans un jeu vidéo, les personnages non joueurs suivent des scripts dont ils ne peuvent pas sortir, ce qui limite certes considérablement l’interaction, mais la borne et rend le jeu possible. Le monde de l’informatique est longtemps resté celui de la maîtrise de bout en bout des processus.
Les choses ont changé avec les systèmes d’IA. Avec certaines fonctionnalités, nous avons pris l’habitude d’un taux de performance. Pour la reconnaissance d’objets par exemple, le résultat n’est pas automatique comme avec les calculatrices. Le niveau de fiabilité n’est pas optimal, mais nous sommes capables de composer avec le fait que les machines soient capables de reconnaître tels types d’objets à 95 ou 98%. Ce n’est pas une performance absolue, mais elle permet malgré tout d’optimiser un processus en connaissant par avance son taux d’erreur, de l’accepter ou le refuser. Et donc de décider en fonction. On peut créer une chaîne de tri d’objets en sachant que ce tri va fonctionner à 95% et accepter ou pas la déperdition qui en résulte.
L’IA générative est plus instable encore. Les résultats qu’elle produit ne sont pas reproductibles. Un même prompt ne produira pas exactement le même résultat ou la performance pourra dépendre de la complexité que la machine doit adresser. Extraire des données d’un document, comme les noms des personnes ou leurs liens de filiation peut dépendre à la fois de la lisibilité des documents et de la complexité des relations entre ces personnes. Si le système peut être performant, reste à identifier les cas où il dysfonctionne et savoir si ces erreurs sont acceptables ou rédhibitoires et si l’on peut clairement séparer les cas où la performance est forte, de ceux où elle ne l’est pas. L’enjeu à évaluer l’incertitude des réponses apportées est une question centrale.
Cette perspective d’une fiabilité différentielle dessine un nouveau rapport aux machines. D’un coup, notre assurance dans leurs résultats doit être mise en doute. Ce qui explique qu’il soit difficile d’automatiser certaines tâches avec l’IA. Là où l’on pouvait se fier aux calculs, désormais, le doute est légitime. Alors qu’un robot était capable de remplacer une personne pour une tâche spécifique sur une chaîne d’assemblage, le chatbot conversationnel qui répond à un administré ou à un joueur va devoir être surveillé. Certaines de leurs performances sont excellentes bien sûr, mais parfois elles sont capables de sous-performances dramatiques. Comme le dit le sociologue Yann Ferguson, « Jusqu’à maintenant, l’introduction des machines a apporté de la sécurité et de la stabilité. Leur force résidait dans leur prévisibilité ». Ce n’est plus le cas. Désormais, les résultats doivent être accompagnés, surveillés, contrôlés et c’est là un nouveau défi pour ceux qui cherchent à intégrer l’IA générative à leurs procédures.
Mais, au-delà de l’IA générative, ce que dessine ce changement de paradigme, c’est un autre rapport aux machines : voilà qu’on ne peut plus leur faire entièrement confiance. Non seulement, il faut se défier des biais des données, des règles de calculs utilisées, mais désormais de leurs résultats mêmes. Et la grande difficulté consiste à savoir là où on peut leur faire confiance et là où on ne doit pas leur faire confiance.
… qui n’est pas sans poser problèmes. Tweet de Tristan Mendès France.
Les technologies ont toujours eu pour ambition de nous faire gagner en productivité, avec pour enjeu de pouvoir remplacer des hommes par des procédures avec un niveau de confiance très élevé. On est en train de passer d’une technique qui produit une certaine forme de rationalité qu’on était capable d’évaluer simplement à une technique qui n’en produit plus ou pas nécessairement ou pas principalement et sans qu’on soit toujours capable d’évaluer sa fiabilité. C’est un changement de paradigme important qui nous oblige à ne plus être certain de la réponse produite par la machine, de ne plus pouvoir lui faire entièrement confiance. L’IA nous demande désormais de composer avec le doute, de remettre en question nos assurances. Nous avons un nouveau rapport aux machines à imaginer et il nous invite à douter d’elles.
C’est une très bonne nouvelle, vous ne trouvez pas ?