La pantomime du contrôle humain
On le lit dans le long reportage de +972 magazine dont on rendait compte dans la première partie de cet article : le contrôle humain s’est profondément distendu dans la riposte d’Israël à l’attaque du 7 octobre. La performance (bien relative) de l’automatisation a emporté avec elle les barrières morales… et le droit international.
Dans un article pour The Conversation, le chercheur en droit international, Louis Perez, rappelle qu’en Iran, comme à Gaza, l’IA est au cœur des frappes, pour l’armée américaine avec le programme Maven, comme pour l’armée israélienne avec Lavender. Mais qu’en est-il de la licéité de l’utilisation de l’IA pour faire la guerre ? « Il convient d’abord de préciser que l’IA n’est pas interdite en tant que telle par le droit des conflits armés (DCA, également appelé droit international humanitaire). Pour l’heure, aucune règle juridique n’envisage spécifiquement la question de sa licéité. Pour autant, la question n’évolue pas dans un vide juridique. Les règles générales du DCA s’appliquent à la conduite des hostilités, quels que soient les moyens et méthodes déployés. L’une de ces règles est le principe de distinction selon lequel seules les cibles militaires peuvent faire l’objet d’attaques, les personnes civiles et les biens civils devant être préservés. »
Un autre principe est celui de précaution : il prescrit que les parties au conflit doivent faire tout ce qui est pratiquement possible pour vérifier que les objectifs à attaquer sont bien des objectifs militaires. La vingtaine de secondes disponible aux opérateurs pour valider une cible, la faiblesse des contrôles pointées par Abraham dans son article, montrent que ce principe n’est matériellement pas respecté. Le contrôle humain de l’IA, dont tout le monde rappelle le principe, tient en vérité d’une pantomime. Pourtant, rappelle le juriste, « ni la violation du principe de précaution ni les erreurs conduisant à des violations du DCA ne constituent des crimes de guerre au sens du droit international pénal ». « L’élément intentionnel, c’est-à-dire la volonté de commettre l’infraction, fait défaut. Le régime de responsabilité pénale internationale actuel ne reconnaît pas la responsabilité pour négligence dans ce contexte. Cette approche pragmatique pourrait néanmoins évoluer. D’une part, si les erreurs algorithmiques de ciblage se multiplient, le caractère « raisonnable » de l’erreur sera de plus en plus difficile à invoquer et l’utilisation consciente d’un système connu pour ses défaillances pourrait induire une forme d’intention indirecte de cibler des civils. D’autre part, le droit pourrait à l’avenir se développer pour sanctionner les militaires qui, par leur négligence, causent la mort de civils. »
Perez souligne encore que la responsabilité des entreprises d’IA qui fournissent ces matériels aux militaires (dans le cas américain notamment) pourraient être à terme tenues responsables de fournir du matériel défaillant. Or, comme le pointe le chercheur Javaid Iqbal Sofi dans une tribune pour Tech Policy Press, si la communauté internationale dispose de régimes de contrôle des armements, les entreprises d’IA n’y sont pas soumises. En effet, l’Organisation pour l’interdiction des armes chimiques (OIAC) compte 193 États membres et un régime de vérification fondé sur le droit international. En mars 2026, elle a publié un rapport sur l’intersection entre l’IA et la Convention sur les armes chimiques, soulignant que les outils d’IA transforment déjà la recherche chimique en alertant de leur danger, notamment pour produire de nouvelles armes chimiques. Mais, si elle souhaite que les entreprises d’IA collaborent, en revanche, « elle ne peut contraindre une entreprise privée de San Francisco à soumettre ses évaluations de modèles à un examen externe ni à divulguer les résultats de ses tests d’intrusion internes ». « Le Rapport international sur la sécurité de l’IA 2026, fruit d’une initiative multi-institutionnelle coordonnée par l’Institut britannique de sécurité de l’IA, a constaté que la plupart des pratiques de gestion des risques dans les laboratoires de pointe restent facultatives. » Les exigences légales actuelles (publication d’un cadre de gestion des risques, pour certains d’entre eux, notamment chimiques) sont donc encore très éloignées des risques liés à l’utilisation de l’IA pour faire la guerre.
Enfin, conclut Perez, « aux termes de l’article 1 commun aux conventions de Genève, les États ont en effet l’obligation de respecter et de faire respecter le DCA. Or, le développement de l’IA militaire tend à miner ce respect, voire à favoriser et à dissimuler les violations du droit. » Si des propositions existent pour renforcer ces obligations, « la volonté politique fait défaut, notamment chez les États à l’avant-garde du développement et de l’utilisation de l’IA militaire ». Dans un article pour Le Monde, la journaliste Claire Legros estime que le recours à l’IA divise les spécialistes d’éthique militaire. Si certains sont convaincus qu’un contrôle humain est possible, d’autres en doutent, et affirment que ces technologies repoussent les limites de la violence. Pour la politiste Laure de Roucy-Rochegonde, autrice de La Guerre à l’ère de l’intelligence artificielle (PUF, 2024), le contrôle de la force est en passe de devenir un enjeu crucial. Or, aucun traité international ne limite l’automatisation des tirs et le contrôle humain reste éminemment problématique. « Depuis 2013 et les premières campagnes contre les « robots tueurs », lancées par le collectif d’ONG et d’universitaires Stop Killer Robots (« arrêtez les robots tueurs »), les négociations entre Etats butent sur une définition commune de l’autonomie technologique. » « La très haute vitesse induite par l’intégration de l’IA sur le champ de bataille rend déjà impossible une véritable supervision humaine », constatent les experts. « Parce qu’elles donnent l’illusion qu’on peut cibler précisément l’adversaire et épargner des vies avec des armes plus maîtrisées et efficaces, ces technologies facilitent, au contraire, le recours à la force et font craindre un abaissement du seuil d’entrée en conflit », explique Laure de Roucy-Rochegonde. Face au ciblage automatisé, il n’y a ni reddition, ni prisonniers. La violence s’incarne désormais « sous la forme d’une interface : un flux de données, une performance mesurable », rappellent les auteurs d’une tribune. Le philosophe Grégoire Chamayou le disait très bien dans Théorie du drone (La Fabrique, 2023) : « Plus se répand la légende du robot éthique, plus cèdent les barrières morales au déploiement du robot tueur ».
Dans une tribune pour Foreign Policy, le politiste spécialiste de relations internationales, éditeur de la newsletter Arc Digital et auteur de Drones ans Terrorism (Bloomsbury, 2018) Nicholas Grossman, estime qu’il faut garder l’humain dans la boucle de décision, d’abord et avant tout parce que ces « systèmes demeurent dangereusement imparfaits, notamment en matière de responsabilité ». Ils ne savent pas expliquer les raisons de leurs erreurs. « Lors de situations critiques pendant la Guerre froide, le jugement humain a prévalu sur les machines, sauvant ainsi le monde, comme en 1983 lorsque l’officier soviétique Stanislav Petrov a déterminé que les informations faisant état d’un lancement nucléaire américain étaient une fausse alerte. C’est pourquoi les spécialistes de l’éthique militaire et de la robotique plaident depuis longtemps pour que l’humain reste au cœur du processus décisionnel. La guerre a des conséquences trop graves pour laisser des machines tuer en toute autonomie. Externaliser ces décisions à des ordinateurs signifie que les humains portent moins de responsabilité – ou du moins qu’ils en ont le sentiment – ce qui pourrait encourager des actions immorales, voire illégales. Les algorithmes peuvent être utiles sur le plan tactique, mais contre-productifs sur le plan stratégique, car les attaques contre des civils qui attirent l’attention du public, comme l’attentat contre une école en Iran, galvanisent l’opposition. »
Mais l’implication de l’humain dans le processus décisionnel ne change pas grand-chose si les humains ne se soucient pas de la question. Un officier israélien qui a utilisé Lavender à Gaza a déclaré au Guardian : « À ce stade, je consacrais 20 secondes à chaque cible, et j’en traitais des dizaines chaque jour. Mon intervention humaine n’apportait aucune valeur ajoutée, si ce n’est celle d’approuver la décision. Cela m’a fait gagner beaucoup de temps. » Les gains d’efficacité rendent l’utilisation militaire des systèmes d’IA inévitable, mais rendre ces utilisations plus éthiques et stratégiquement avantageuses exige un travail considérable, notamment une réglementation adaptée. Grossman plaide pour un contrôle humain, mais en se rendant compte, en le disant, que celui-ci risque d’être simplement processuel, ce qui ne suffit pas à remettre de l’éthique dans la boucle.
Comme le dit très justement le chercheur en psychologie sociale et cognitive Nicolas Spatola dans une autre tribune pour Tech Policy Press, maintenir l’intervention humaine dans la boucle de l’IA est dans toutes les politiques publiques un garde-fou et une solution par défaut. Mais si la proposition se veut rassurante, en vérité, l’enjeu consiste bien plus à savoir si les institutions qui déploient des solutions d’IA le font en préservant les conditions pratiques du jugement humain. Or, ce n’est pas ce à quoi l’on assiste, en vérité, car l’IA modifie les comportements décisionnels. Le risque est fort que le « contrôle humain » devienne un faux rempart qui privilégie une présence humaine au jugement humain. L’assistance de l’IA « modifie les conditions cognitives dans lesquelles les décisions sont prises ». Mais surtout, les systèmes qui fournissent des réponses qu’il suffit de valider, finissent par produire une dépendance qui réduit la capacité des utilisateurs à détecter les erreurs quand le système se trompe. « Dans les environnements sous forte pression – où le temps est compté, les objectifs de productivité et les normes de standardisation prédominent – le contexte encourage un passage d’un examen approfondi à une acceptation routinière. » Tout l’enjeu est bien de plus de créer les conditions d’un contrôle actif que d’une acceptation passive. « Si l’on veut que le contrôle humain ait une véritable signification et ne se limite pas à un slogan rassurant, nous devons concevoir des systèmes favorisant le jugement, et non la simple vérification. » « Cela implique d’évaluer si la structure des tâches permet un contrôle réaliste sous la pression du temps ; de vérifier si les utilisateurs sont capables de détecter les défaillances des modèles après une utilisation répétée ; d’exiger un suivi post-déploiement des risques de dépendance excessive ; d’investir dans une formation axée sur le comportement décisionnel plutôt que sur la simple familiarisation avec l’outil ; et de s’assurer que les droits de dérogation soient réellement pertinents et non seulement théoriquement disponibles. »
Nous en sommes loin. Le risque est fort que l’éthique et l’humain dans la boucle se termine par un contrôle purement procédural et une responsabilité de façade.
Même constat pour le spécialiste des sciences comportementales et de la volonté, Uri Maoz, dans la Technology Review qui pilote également un groupe de travail multidisciplinaire sur l’intention et l’IA. A l’heure où l’IA génère des cibles en temps réel, contrôle et coordonne les interceptions de missiles et guide des essaims de drones autonomes meurtriers, la supervision humaine est censée garantir la responsabilité, le contexte et les nuances. Mais ce débat sur l’importance à garder le rôle de l’humain dans la boucle n’est qu’une distraction rassurante. « Le danger immédiat n’est pas que les machines agissent sans supervision humaine ; il est que les superviseurs humains ignorent tout de ce que les machines « pensent » réellement. » L’opérateur ignore ce qui détermine les décisions de la machine. « Les systèmes d’IA avancés n’exécutent pas simplement des instructions ; ils les interprètent.» Ils peuvent ainsi donner un très bon score à une cible, un dépôt de munition à côté d’un hôpital… qui sera d’autant meilleur que les secours occupés par les blessés de l’hôpital assureront une meilleure destruction de l’entrepôt… prend-t-il pour exemple. Le fait que nous soyons aveugles aux raisons des décisions, génère, ce que le chercheur appelle un « fossé d’intention » entre les systèmes d’IA et les opérateurs humains, qui explique nos « hésitations à déployer des IA de pointe dans les soins de santé » par exemple. Cette course à l’échalote vers les armes autonomes et opaques risque d’être sans limite, s’inquiète Maoz. Plaidant pour sa chapelle et son domaine de recherche, le chercheur estime que nous devons améliorer la compréhension du fonctionnement de ces technologies. « Nous devons apprendre à mieux caractériser, mesurer et intervenir dans les intentions des agents d’IA avant même qu’ils ne les mettent en œuvre » (c’est-à-dire aider l’opérateur à prendre conscience de ce que le système retient et écarte et infère, comme nous le suggérions pour de simples chatbots).
La guerre de l’IA ou la guerre contre l’IA ?
Pour l’économiste Hamid Dahouei de l’université de Harvard et Arash Reisinezhad de la Fletcher School de l’université Tufts, la guerre en Iran n’est pas qu’une guerre qui mobilise l’IA, elle est aussi une guerre contre l’IA, expliquent-ils dans Foreign Policy. « Le 1er mars, des drones iraniens ont frappé deux centres de données d’Amazon Web Services aux Émirats arabes unis, et un troisième a été endommagé à Bahreïn. Les applications bancaires sont devenues inaccessibles. Les plateformes de paiement se sont figées.» Lorsque le président américain Donald Trump a conclu sa tournée au Moyen-Orient en mai 2025, l’ampleur des ambitions annoncées était sans précédent, rappellent-ils : plus de 2 000 milliards de dollars d’engagements d’investissement de la part de l’Arabie saoudite, du Qatar et des Émirats arabes unis, dont une part importante était destinée aux infrastructures d’IA. Derrière le pari géopolitique, il y avait aussi une logique économique. « L’initiative Pax Silica a renforcé cet alignement, intégrant les Émirats arabes unis et le Qatar à un bloc technologique dirigé par les États-Unis et conçu pour limiter l’accès de la Chine aux semi-conducteurs de pointe. Humain, le programme saoudien d’IA, s’est engagé à ne pas acheter d’équipements chinois, après la rupture des relations de G42 (l’une des grandes entreprises d’IA d’Abu Dhabi) avec Huawei. Le développement de l’IA dans le Golfe n’était plus une simple infrastructure commerciale. Elle était devenue un enjeu majeur de la compétition sino-américaine pour la suprématie technologique. C’est précisément ce qui en a fait une cible.» Il existe une autre dimension que de nombreux commentateurs occidentaux n’ont pas encore pleinement saisie, estiment les deux chercheurs. « Tout porte à croire que l’Iran n’a pas agi seul pour atteindre une telle précision de ciblage. Le pays aurait eu accès au système satellitaire chinois BeiDou, dont les signaux cryptés offrent une précision de ciblage hors de portée du brouillage GPS américain. » Pékin n’a pas tiré de missile ; la Chine a simplement fourni des coordonnées, résument-ils.
Selon eux, ce qui apparaît comme une guerre régionale est, à un niveau plus profond, une lutte indirecte pour la domination des infrastructures d’IA. Les frappes de l’Iran ont démontré qu’un campus de données valant des milliards de dollars peut être mis hors service par un drone coûtant quelques milliers d’euros. Le coût de construction d’un centre de données au Moyen-Orient vient désormais de s’envoler, tant les risques sont élevés. « En temps de guerre, les États ont toujours ciblé les infrastructures qui confèrent à leurs adversaires un avantage décisif. Ce n’est pas nouveau : de la coupure des câbles télégraphiques pendant la Première Guerre mondiale au bombardement des sites de production industrielle pendant la Seconde Guerre mondiale, en passant par le ciblage des installations pétrolières et des oléoducs à la fin du XXe siècle et, plus récemment, les cyberattaques contre les systèmes financiers et les réseaux énergétiques. Ce qui a changé en 2026, c’est que la couche d’infrastructure en question est la puissance de calcul de l’IA, et la leçon de la guerre contre l’Iran est qu’elle n’est pas plus à l’abri. » La guerre en Iran a une fois de plus démontré que la technologie seule ne peut maîtriser la géopolitique. Ce qui ne sera pas sans implications, estime Yasir Atalan dans Foreign Policy : « la protection devient indissociable de l’accès, et les futurs accords en matière d’IA seront de plus en plus souvent assortis de garanties de sécurité, d’une coopération en matière de défense et de conditions politiques plus strictes ». Pour lui, le résultat de ces attaques n’annonce pas un désinvestissement, mais une sécurisation accrue. Les futurs contrats de calcul dans le Golfe devront impérativement inclure des systèmes de défense par IA. Les Etats-Unis risquent d’y gagner deux fois.
La guerre : point de convergence violent de l’investissement
Dans un article pour Security Context, la chercheuse Shana Marshall, de l’Institut des études sur le Moyen-Orient de l’université George Washington, explique que la Silicon Valley et la finance privée redéfinissent la guerre dans une convergence violente. Nous risquons d’entrer dans une guerre sans fin soutenue par le complexe militaro-industriel qui y a intérêt, rejoint par la Silicon Valley et le secteur technologique tout comme par les capitaux privés du capital-risque et du capital investissement. « Ces trois forces convergent et se chevauchent de manière inédite pour produire des formes de violence nouvelles tant par leur ampleur que par leur intensité. Il n’est pas surprenant que l’Iran ait identifié les antennes du Golfe des entreprises technologiques et des grandes banques américaines comme des cibles militaires légitimes dans le conflit actuel ; elles fournissent la puissance de calcul et les financements privés qui permettent d’étendre la machine de guerre américaine. » Le complexe militaro-industriel est en train de coloniser le secteur technologique et financier au profit du marché, avec le soutien de l’Etat américain. La guerre est en train de soutenir l’innovation comme nulle autre, permettant d’obtenir des valorisations lucratives et des contrats qui le sont tout autant avec le Pentagone.
Historiquement, rappelle Marshall, « les rendements du capital-risque lors de l’introduction en bourse d’entreprises de technologies numériques commerciales/grand public ont été colossaux : dix à quinze fois l’investissement initial. Les retours sur investissement pour les jeunes entreprises de technologies de défense étaient très faibles – un ou deux fois l’investissement initial – car les grands donneurs d’ordre (Lockheed et autres acteurs historiques du complexe militaro-industriel) rachetaient généralement ces petites entreprises directement et à bas prix. »
Le secteur de la défense se caractérise par des barrières à l’entrée élevées : pour faire la guerre, il n’y a souvent qu’un seul donneur d’ordre potentiel capable d’utiliser les nouvelles technologies développées par les jeunes entreprises : les gouvernements. Le problème, c’est qu’ils n’achètent pas ces technologies très cher. Pour revaloriser le prix des produits technologiques que la Silicon Valley vend à la Défense, il a fallu « modifier la façon dont les armées conçoivent l’approvisionnement en armement en temps de guerre, la définition des armes nécessaires et l’identification des ennemis ». Tout aussi important, il leur fallait élaborer un récit convaincant et globalisant expliquant comment les investisseurs, les ingénieurs logiciels et les dirigeants du secteur technologique constituent l’alliance indispensable pour enrayer le déclin impérial américain, restaurer le secteur manufacturier du pays, sécuriser les matières premières et les terres rares nécessaires aux systèmes d’armement de haute technologie et protéger la civilisation occidentale à la fois des mouvements woke et des centres de pouvoir alternatifs émergents dans les pays du Sud. Tel a été le travail d’entreprises comme Palantir et de nombres d’acteurs des technologies américaines. Son PDG, Alex Karp, le dit d’ailleurs très clairement dans son manifeste : ce sont les conflits qui permettront à son entreprise de se développer. Au risque que le mantra influence bien d’autres acteurs de la Tech.
« La pénurie de munitions de basse technologie et de drones bon marché dont disposent les États-Unis et leurs alliés dans les guerres en Ukraine et en Iran a parfaitement alimenté ce récit », explique Shana Marshall. Cependant, les armes à bas coût et produites en grande quantité promises par la Silicon Valley dépendent souvent, non pas des technologies émergentes des start-ups, mais de fournisseurs des pays du Sud et d’Asie. Bombes et drones ne sont pas toujours de fabrication américaine et tous utilisent des caméras, des moteurs, des puces ou des batteries de fournisseurs chinois.
Si ce moment historique de convergence entre développement technologique, capitaux financiers mondiaux et machine de guerre américaine semble annoncer une militarisation accrue de l’économie mondiale, il annonce surtout une approche américaine plus agressive à l’échelle internationale. « Les capitaux sont si concentrés qu’ils doivent rechercher des opportunités d’investissement viables, du fait de la nécessité de les valoriser et du déclin des investissements publics dans des secteurs non militarisés comme les infrastructures et les programmes sociaux ». Dans ce contexte, le complexe militaro-industriel devient une cible privilégiée pour les gestionnaires d’actifs et autres acteurs de la finance privée (voir notre article sur les enjeux politiques du financement de l’innovation). La guerre rapporte beaucoup d’argent et est devenu un débouché très lucratif pour les acteurs technologiques, qui s’annonce bien plus lucratif encore que les débouchés traditionnels de l’IA. Au risque d’orienter encore plus les politiques guerrières.
L’IA, l’infrastructure totale d’un monde totalitaire
On peut tirer plusieurs leçons de cette première immersion dans les outils pour faire la guerre. Elle nous montre d’abord que les préventions éthiques habituelles n’ont plus court. Le principe de vérification humaine de toutes décisions (le fameux humain dans la boucle…) est en passe de disparaître. On avait déjà vu qu’elle tenait bien souvent d’une pantomime quand on nous assurait dans les décisions automatisées plus classiques, du marketing aux systèmes sociaux automatisés, où l’on nous assure que l’humain valide toujours la décision, sans possibilité réelle pour le faire.
La disponibilité des outils fait également sauter une autre barrière morale : la proportionnalité. Le taux d’erreur devient un paramètre parmi d’autres, bien vite relativisé. C’est même pire : les dommages collatéraux, les défaillances d’attribution du ciblage, leur élargissement à des marqueurs plus ténus (on ne cherche plus les hauts responsables, mais désormais tous ceux qui peuvent potentiellement être rattachés à l’ennemi), tendent à étendre une guerre sans plus aucune limite, où les erreurs deviennent une donnée parmi d’autres, qui s’optimise comme les autres. La proportionnalité de la surveillance a volé en éclat, comme elle vole en éclat dans bien d’autres cas d’usages, notamment le social.
Partout, le scoring règne en maître. Quand toutes les données sont disponibles, il n’y a plus de limites à leur utilisation et donc aux inférences qui peuvent être faites, disions-nous dans notre livre, Les algorithmes contre la société (La Fabrique, 2025). Le risque est de produire un système sans plus aucune limite morale, comme quand les systèmes de calcul de risque déterminent que tous les bénéficiaires des services sociaux sont à risque (et que plus ils en bénéficient, plus ils sont à risque). L’abaissement des seuils à mesure que les calculs s’étendent transforment tout le monde en cible. C’est le modèle publicitaire appliqué à la guerre. Un calcul sans échappatoire, puisque dans le score de risque, tout le monde est calculé et chacun est associé à un résultat dont les déterminants fluctuent selon les nécessités du moment.
Tout l’enjeu repose donc sur les réglages du seuil – or, sans règles, ils peuvent évoluer à tout moment. On le voit dans l’exemple de Lavender, suite aux événements du 7 octobre, le seuil de définition des cibles n’a eu de cesse de bouger. Et c’est là tout le problème d’établir les limites d’une réponse proportionnée qui passe par la définition de seuils : le contexte et les nécessités politiques les feront toujours bouger. Dans le calcul permanent, la difficulté consiste à définir des limites : des limites aux cadences qu’accélèrent les indicateurs dans le monde du travail, des limites à la surveillance et au contrôle dans le monde du social où toutes les données peuvent être mobilisées pour contrôler les revenus des plus démunis, des limites aux ajustement du calcul des prix dans une personnalisation toujours ajustable… Des limites au scoring de risque de toute la population gazaouis depuis Lavender…
Le problème, c’est que ces limites sont spécifiques et contextuelles alors qu’elles devraient être socialement et politiquement partagées et contrôlées.
De l’IA sur les champs de bataille à l’IA dans le social, les mêmes techniques et les mêmes logiques sont à l’œuvre. Celles d’outils qui n’ont plus à rendre de compte, qui amplifient leurs biais et produisent des erreurs toujours minimisées par leur efficacité. Et partout où cette IA la se déploie, il n’y a pas d’issue à sa logique, pas de limite simple à sa conduite. Le scoring de ciblage, quelque soit sa fonction, est par nature une menace, dont il suffit d’ajuster les paramètres pour que chacun le devienne. « A l’heure du calcul permanent, il n’existe plus de droits durables : tous sont révocables », disait le philosophe Achille Achille Mbembe dans le préscient Brutalisme (La découverte, 2020). A l’heure du scoring permanent, c’est encore plus vrai.
Hubert Guillaud