Les chercheurs Arvind Narayanan et Sayash Kapoor – dont nous avions chroniqué le livre, AI Snake Oil – signent pour le Knight un long article pour démonter les risques existentiels de l’IA générale. Pour eux, l’IA est une « technologie normale ». Cela ne signifie pas que son impact ne sera pas profond, comme l’électricité ou internet, mais cela signifie qu’ils considèrent « l’IA comme un outil dont nous pouvons et devons garder le contrôle, et nous soutenons que cet objectif ne nécessite ni interventions politiques drastiques ni avancées technologiques ». L’IA n’est pas appelée à déterminer elle-même son avenir, expliquent-ils. Les deux chercheurs estiment que « les impacts économiques et sociétaux transformateurs seront lents (de l’ordre de plusieurs décennies) ».
Selon eux, dans les années à venir « une part croissante du travail des individus va consister à contrôler l’IA ». Mais surtout, considérer l’IA comme une technologie courante conduit à des conclusions fondamentalement différentes sur les mesures d’atténuation que nous devons y apporter, et nous invite, notamment, à minimiser le danger d’une superintelligence autonome qui viendrait dévorer l’humanité.
La vitesse du progrès est plus linéaire qu’on le pense
« Comme pour d’autres technologies à usage général, l’impact de l’IA se matérialise non pas lorsque les méthodes et les capacités s’améliorent, mais lorsque ces améliorations se traduisent en applications et se diffusent dans les secteurs productifs de l’économie« , rappellent les chercheurs, à la suite des travaux de Jeffrey Ding dans son livre, Technology and the Rise of Great Powers: How Diffusion Shapes Economic Competition (Princeton University Press, 2024, non traduit). Ding y rappelle que la diffusion d’une innovation compte plus que son invention, c’est-à-dire que l’élargissement des applications à d’innombrables secteurs est souvent lent mais décisif. Pour Foreign Affairs, Ding pointait d’ailleurs que l’enjeu des politiques publiques en matière d’IA ne devraient pas être de s’assurer de sa domination sur le cycle d’innovation, mais du rythme d’intégration de l’IA dans un large éventail de processus productifs. L’enjeu tient bien plus à élargir les champs d’application des innovations qu’à maîtriser la course à la puissance, telle qu’elle s’observe actuellement.
En fait, rappellent Narayanan et Kapoor, les déploiements de l’IA seront, comme dans toutes les autres technologies avant elle, progressifs, permettant aux individus comme aux institutions de s’adapter. Par exemple, constatent-ils, la diffusion de l’IA dans les domaines critiques pour la sécurité est lente. Même dans le domaine de « l’optimisation prédictive », c’est-à-dire la prédiction des risques pour prendre des décisions sur les individus, qui se sont multipliées ces dernières années, l’IA n’est pas très présente, comme l’avaient pointé les chercheurs dans une étude. Ce secteur mobilise surtout des techniques statistiques classiques, rappellent-ils. En fait, la complexité et l’opacité de l’IA font qu’elle est peu adaptée pour ces enjeux. Les risques de sécurité et de défaillance font que son usage y produit souvent de piètres résultats. Sans compter que la réglementation impose déjà des procédures qui ralentissent les déploiements, que ce soit la supervision des dispositifs médicaux ou l’IA Act européen. D’ailleurs, “lorsque de nouveaux domaines où l’IA peut être utilisée de manière significative apparaissent, nous pouvons et devons les réglementer ».
Même en dehors des domaines critiques pour la sécurité, l’adoption de l’IA est plus lente que ce que l’on pourrait croire. Pourtant, de nombreuses études estiment que l’usage de l’IA générative est déjà très fort. Une étude très commentée constatait qu’en août 2024, 40 % des adultes américains utilisaient déjà l’IA générative. Mais cette percée d’utilisation ne signifie pas pour autant une utilisation intensive, rappellent Narayanan et Kapoor – sur son blog, Gregory Chatonksy ne disait pas autre chose, distinguant une approche consumériste d’une approche productive, la seconde était bien moins maîtrisée que la première. L’adoption est une question d’utilisation du logiciel, et non de disponibilité, rappellent les chercheurs. Si les outils sont désormais accessibles immédiatement, leur intégration à des flux de travail ou à des habitudes, elle, prend du temps. Entre utiliser et intégrer, il y a une différence que le nombre d’utilisateurs d’une application ne suffit pas à distinguer. L’analyse de l’électrification par exemple montre que les gains de productivité ont mis des décennies à se matérialiser pleinement, comme l’expliquait Tim Harford. Ce qui a finalement permis de réaliser des gains de productivité, c’est surtout la refonte complète de l’agencement des usines autour de la logique des chaînes de production électrifiées.
Les deux chercheurs estiment enfin que nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA. Les voitures autonomes par exemple ont mis deux décennies à se développer, du fait des contraintes de sécurité nécessaires, qui, fort heureusement, les entravent encore. Certes, les choses peuvent aller plus vite dans des domaines non critiques, comme le jeu. Mais très souvent, “l’écart entre la capacité et la fiabilité” reste fort. La perspective d’agents IA pour la réservation de voyages ou le service clients est moins à risque que la conduite autonome, mais cet apprentissage n’est pas simple à réaliser pour autant. Rien n’assure qu’il devienne rapidement suffisamment fiable pour être déployé. Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation. Et dans nombre de domaines, la vitesse d’acquisition des connaissances pour déployer de l’IA est fortement limitée en raison des coûts sociaux de l’expérimentation. Enfin, les chercheurs soulignent que si l’IA sait coder ou répondre à des examens, comme à ceux du barreau, mieux que des humains, cela ne recouvre pas tous les enjeux des pratiques professionnelles réelles. En fait, trop souvent, les indicateurs permettent de mesurer les progrès des méthodes d’IA, mais peinent à mesurer leurs impacts ou l’adoption, c’est-à-dire l’intensité de son utilisation. Kapoor et Narayanan insistent : les impacts économiques de l’IA seront progressifs plus que exponentiels. Si le taux de publication d’articles sur l’IA affiche un doublement en moins de deux ans, on ne sait pas comment cette augmentation de volume se traduit en progrès. En fait, il est probable que cette surproduction même limite l’innovation. Une étude a ainsi montré que dans les domaines de recherche où le volume d’articles scientifiques est plus élevé, il est plus difficile aux nouvelles idées de percer.
L’IA va rester sous contrôle
Le recours aux concepts flous d’« intelligence » ou de « superintelligence » ont obscurci notre capacité à raisonner clairement sur un monde doté d’une IA avancée. Assez souvent, l’intelligence elle-même est assez mal définie, selon un spectre qui irait de la souris à l’IA, en passant par le singe et l’humain. Mais surtout, “l’intelligence n’est pas la propriété en jeu pour analyser les impacts de l’IA. C’est plutôt le pouvoir – la capacité à modifier son environnement – qui est en jeu”. Nous ne sommes pas devenus puissants du fait de notre intelligence, mais du fait de la technologie que nous avons utilisé pour accroître nos capacités. La différence entre l’IA et les capacités humaines reposent surtout dans la vitesse. Les machines nous dépassent surtout en terme de vitesse, d’où le fait que nous les ayons développé surtout dans les domaines où la vitesse est en jeu.
“Nous prévoyons que l’IA ne sera pas en mesure de surpasser significativement les humains entraînés (en particulier les équipes humaines, et surtout si elle est complétée par des outils automatisés simples) dans la prévision d’événements géopolitiques (par exemple, les élections). Nous faisons la même prédiction pour les tâches consistant à persuader les gens d’agir contre leur propre intérêt”. En fait, les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs.
Mais surtout, insistent-ils, rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort, des audits à la surveillance des systèmes en passant par la sécurité intégrée. “En cybersécurité, le principe du « moindre privilège » garantit que les acteurs n’ont accès qu’aux ressources minimales nécessaires à leurs tâches. Les contrôles d’accès empêchent les personnes travaillant avec des données et des systèmes sensibles d’accéder à des informations et outils confidentiels non nécessaires à leur travail. Nous pouvons concevoir des protections similaires pour les systèmes d’IA dans des contextes conséquents. Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA.” Nous pouvons également emprunter des idées comme la conception de systèmes rendant les actions de changement d’état réversibles, permettant ainsi aux humains de conserver un contrôle significatif, même dans des systèmes hautement automatisés. On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains en fonction de l’incertitude ou du niveau de risque, ou encore la conception de systèmes agents dont l’activité est visible et lisible par les humains, ou encore la création de structures de contrôle hiérarchiques dans lesquelles des systèmes d’IA plus simples et plus fiables supervisent des systèmes plus performants, mais potentiellement peu fiables. Pour les deux chercheurs, “avec le développement et l’adoption de l’IA avancée, l’innovation se multipliera pour trouver de nouveaux modèles de contrôle humain”.
Pour eux d’ailleurs, à l’avenir, un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA. Lors des phases d’automatisation précédentes, d’innombrables méthodes de contrôle et de surveillance des machines ont été inventées. Et aujourd’hui, les chauffeurs routiers par exemple, ne cessent de contrôler et surveiller les machines qui les surveillent, comme l’expliquait Karen Levy. Pour les chercheurs, le risque de perdre de la lisibilité et du contrôle en favorisant l’efficacité et l’automatisation doit toujours être contrebalancée. Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables. Dans les faits, on constate plutôt que les systèmes trop autonomes et insuffisamment supervisés sont vite débranchés. Nul n’a avantage à se passer du contrôle humain. C’est ce que montre d’ailleurs la question de la gestion des risques, expliquent les deux chercheurs en listant plusieurs types de risques.
La course aux armements par exemple, consistant à déployer une IA de plus en plus puissante sans supervision ni contrôle adéquats sous prétexte de concurrence, et que les acteurs les plus sûrs soient supplantés par des acteurs prenant plus de risques, est souvent vite remisée par la régulation. “De nombreuses stratégies réglementaires sont mobilisables, que ce soient celles axées sur les processus (normes, audits et inspections), les résultats (responsabilité) ou la correction de l’asymétrie d’information (étiquetage et certification).” En fait, rappellent les chercheurs, le succès commercial est plutôt lié à la sécurité qu’autre chose. Dans le domaine des voitures autonomes comme dans celui de l’aéronautique, “l’intégration de l’IA a été limitée aux normes de sécurité existantes, au lieu qu’elles soient abaissées pour encourager son adoption, principalement en raison de la capacité des régulateurs à sanctionner les entreprises qui ne respectent pas les normes de sécurité”. Dans le secteur automobile, pourtant, pendant longtemps, la sécurité n’était pas considérée comme relevant de la responsabilité des constructeurs. mais petit à petit, les normes et les attentes en matière de sécurité se sont renforcées. Dans le domaine des recommandations algorithmiques des médias sociaux par contre, les préjudices sont plus difficiles à mesurer, ce qui explique qu’il soit plus difficile d’imputer les défaillances aux systèmes de recommandation. “L’arbitrage entre innovation et réglementation est un dilemme récurrent pour l’État régulateur”. En fait, la plupart des secteurs à haut risque sont fortement réglementés, rappellent les deux chercheurs. Et contrairement à l’idée répandue, il n’y a pas que l’Europe qui régule, les Etats-Unis et la Chine aussi ! Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant.
Répondre aux abus. Jusqu’à présent, les principales défenses contre les abus se situent post-formation, alors qu’elles devraient surtout se situer en aval des modèles, estiment les chercheurs. Le problème fondamental est que la nocivité d’un modèle dépend du contexte, contexte souvent absent du modèle, comme ils l’expliquaient en montrant que la sécurité n’est pas une propriété du modèle. Le modèle chargé de rédiger un e-mail persuasif pour le phishing par exemple n’a aucun moyen de savoir s’il est utilisé à des fins marketing ou d’hameçonnage ; les interventions au niveau du modèle seraient donc inefficaces. Ainsi, les défenses les plus efficaces contre le phishing ne sont pas les restrictions sur la composition des e-mails (qui compromettraient les utilisations légitimes), mais plutôt les systèmes d’analyse et de filtrage des e-mails qui détectent les schémas suspects, et les protections au niveau du navigateur. Se défendre contre les cybermenaces liées à l’IA nécessite de renforcer les programmes de détection des vulnérabilités existants plutôt que de tenter de restreindre les capacités de l’IA à la source. Mais surtout, “plutôt que de considérer les capacités de l’IA uniquement comme une source de risque, il convient de reconnaître leur potentiel défensif. En cybersécurité, l’IA renforce déjà les capacités défensives grâce à la détection automatisée des vulnérabilités, à l’analyse des menaces et à la surveillance des surfaces d’attaque”. “Donner aux défenseurs l’accès à des outils d’IA puissants améliore souvent l’équilibre attaque-défense en leur faveur”. En modération de contenu, par exemple, on pourrait mieux mobiliser l’IA peut aider à identifier les opérations d’influence coordonnées. Nous devons investir dans des applications défensives plutôt que de tenter de restreindre la technologie elle-même, suggèrent les chercheurs.
Le désalignement. Une IA mal alignée agit contre l’intention de son développeur ou de son utilisateur. Mais là encore, la principale défense contre le désalignement se situe en aval plutôt qu’en amont, dans les applications plutôt que dans les modèles. Le désalignement catastrophique est le plus spéculatif des risques, rappellent les chercheurs. “La crainte que les systèmes d’IA puissent interpréter les commandes de manière catastrophique repose souvent sur des hypothèses douteuses quant au déploiement de la technologie dans le monde réel”. Dans le monde réel, la surveillance et le contrôle sont très présents et l’IA est très utile pour renforcer cette surveillance et ce contrôle. Les craintes liées au désalignement de l’IA supposent que ces systèmes déjouent la surveillance, alors que nous avons développés de très nombreuses formes de contrôle, qui sont souvent d’autant plus fortes et redondantes que les décisions sont importantes.
Les risques systémiques. Si les risques existentiels sont peu probables, les risques systémiques, eux, sont très courants. Parmi ceux-ci figurent “l’enracinement des préjugés et de la discrimination, les pertes d’emplois massives dans certaines professions, la dégradation des conditions de travail, l’accroissement des inégalités, la concentration du pouvoir, l’érosion de la confiance sociale, la pollution de l’écosystème de l’information, le déclin de la liberté de la presse, le recul démocratique, la surveillance de masse et l’autoritarisme”. “Si l’IA est une technologie normale, ces risques deviennent bien plus importants que les risques catastrophiques évoqués précédemment”. Car ces risques découlent de l’utilisation de l’IA par des personnes et des organisations pour promouvoir leurs propres intérêts, l’IA ne faisant qu’amplifier les instabilités existantes dans notre société. Nous devrions bien plus nous soucier des risques cumulatifs que des risques décisifs.
Politiques de l’IA
Narayanan et Kapoor concluent leur article en invitant à réorienter la régulation de l’IA, notamment en favorisant la résilience. Pour l’instant, l’élaboration des politiques publiques et des réglementations de l’IA est caractérisée par de profondes divergences et de fortes incertitudes, notamment sur la nature des risques que fait peser l’IA sur la société. Si les probabilités de risque existentiel de l’IA sont trop peu fiables pour éclairer les politiques, il n’empêche que nombre d’acteurs poussent à une régulation adaptée à ces risques existentiels. Alors que d’autres interventions, comme l’amélioration de la transparence, sont inconditionnellement utiles pour atténuer les risques, quels qu’ils soient. Se défendre contre la superintelligence exige que l’humanité s’unisse contre un ennemi commun, pour ainsi dire, concentrant le pouvoir et exerçant un contrôle centralisé sur l’IA, qui risque d’être un remède pire que le mal. Or, nous devrions bien plus nous préoccuper des risques cumulatifs et des pratiques capitalistes extractives que l’IA amplifie et qui amplifient les inégalités. Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible, défendent les deux chercheurs.
Ils recommandent d’ailleurs plusieurs politiques. D’abord, améliorer le financement stratégique sur les risques. Nous devons obtenir de meilleures connaissances sur la façon dont les acteurs malveillants utilisent l’IA et améliorer nos connaissances sur les risques et leur atténuation. Ils proposent également d’améliorer la surveillance des usages, des risques et des échecs, passant par les déclarations de transparences, les registres et inventaires, les enregistrements de produits, les registres d’incidents (comme la base de données d’incidents de l’IA) ou la protection des lanceurs d’alerte… Enfin, il proposent que les “données probantes” soient un objectif prioritaire, c’est-à-dire d’améliorer l’accès de la recherche.
Dans le domaine de l’IA, la difficulté consiste à évaluer les risques avant le déploiement. Pour améliorer la résilience, il est important d’améliorer la responsabilité et la résilience, plus que l’analyse de risque, c’est-à-dire des démarches de contrôle qui ont lieu après les déploiements. “La résilience exige à la fois de minimiser la gravité des dommages lorsqu’ils surviennent et la probabilité qu’ils surviennent.” Pour atténuer les effets de l’IA nous devons donc nous doter de politiques qui vont renforcer la démocratie, la liberté de la presse ou l’équité dans le monde du travail. C’est-à-dire d’améliorer la résilience sociétale au sens large.
Pour élaborer des politiques technologiques efficaces, il faut ensuite renforcer les capacités techniques et institutionnelles de la recherche, des autorités et administrations. Sans personnels compétents et informés, la régulation de l’IA sera toujours difficile. Les chercheurs invitent même à “diversifier l’ensemble des régulateurs et, idéalement, à introduire la concurrence entre eux plutôt que de confier la responsabilité de l’ensemble à un seul régulateur”.
Par contre, Kapoor et Narayanan se défient fortement des politiques visant à promouvoir une non-prolifération de l’IA, c’est-à-dire à limiter le nombre d’acteurs pouvant développer des IA performantes. Les contrôles à l’exportation de matériel ou de logiciels visant à limiter la capacité des pays à construire, acquérir ou exploiter une IA performante, l’exigence de licences pour construire ou distribuer une IA performante, et l’interdiction des modèles d’IA à pondération ouverte… sont des politiques qui favorisent la concentration plus qu’elles ne réduisent les risques. “Lorsque de nombreuses applications en aval s’appuient sur le même modèle, les vulnérabilités de ce modèle peuvent être exploitées dans toutes les applications”, rappellent-ils.
Pour les deux chercheurs, nous devons “réaliser les avantages de l’IA”, c’est-à-dire accélérer l’adoption des bénéfices de l’IA et atténuer ses inconvénients. Pour cela, estiment-ils, nous devons être plus souples sur nos modalités d’intervention. Par exemple, ils estiment que pour l’instant catégoriser certains domaines de déploiement de l’IA comme à haut risque est problématique, au prétexte que dans ces secteurs (assurance, prestation sociale ou recrutement…), les technologies peuvent aller de la reconnaissance optique de caractères, relativement inoffensives, à la prise de décision automatisées dont les conséquences sont importantes. Pour eux, il faudrait seulement considérer la prise de décision automatisée dans ces secteurs comme à haut risque.
Un autre enjeu repose sur l’essor des modèles fondamentaux qui a conduit à une distinction beaucoup plus nette entre les développeurs de modèles, les développeurs en aval et les déployeurs (parmi de nombreuses autres catégories). Une réglementation insensible à ces distinctions risque de conférer aux développeurs de modèles des responsabilités en matière d’atténuation des risques liés à des contextes de déploiement particuliers, ce qui leur serait impossible en raison de la nature polyvalente des modèles fondamentaux et de l’imprévisibilité de tous les contextes de déploiement possibles.
Enfin, lorsque la réglementation établit une distinction binaire entre les décisions entièrement automatisées et celles qui ne le sont pas, et ne reconnaît pas les degrés de surveillance, elle décourage l’adoption de nouveaux modèles de contrôle de l’IA. Or de nombreux nouveaux modèles sont proposés pour garantir une supervision humaine efficace sans impliquer un humain dans chaque décision. Il serait imprudent de définir la prise de décision automatisée de telle sorte que ces approches engendrent les mêmes contraintes de conformité qu’un système sans supervision. Pour les deux chercheurs, “opposer réglementation et diffusion est un faux compromis, tout comme opposer réglementation et innovation”, comme le disait Anu Bradford. Pour autant, soulignent les chercheurs, l’enjeu n’est pas de ne pas réguler, mais bien de garantir de la souplesse. La législation garantissant la validité juridique des signatures et enregistrement électroniques promulguée en 2000 aux Etats-Unis a joué un rôle déterminant dans la promotion du commerce électronique et sa diffusion. La législation sur les petits drones mise en place par la Federal Aviation Administration en 2016 a permis le développement du secteur par la création de pilotes certifiés. Nous devons trouver pour l’IA également des réglementations qui favorisent sa diffusion, estiment-ils. Par exemple, en facilitant “la redistribution des bénéfices de l’IA afin de les rendre plus équitables et d’indemniser les personnes qui risquent de subir les conséquences de l’automatisation. Le renforcement des filets de sécurité sociale contribuera à atténuer l’inquiétude actuelle du public face à l’IA dans de nombreux pays”. Et les chercheurs de suggérer par exemple de taxer les entreprises d’IA pour soutenir les industries culturelles et le journalisme, mis à mal par l’IA. En ce qui concerne l’adoption par les services publics de l’IA, les gouvernements doivent trouver le juste équilibre entre une adoption trop précipitée qui génère des défaillances et de la méfiance, et une adoption trop lente qui risque de produire de l’externalisation par le secteur privé.