Suite de notre plongée dans le livre de Kashmir Hill, « Your face belongs to us ». Après avoir observé l’histoire du développement de la reconnaissance faciale, retour sur l’enquête sur le développement de Clearview, la startup de la reconnaissance faciale. 2e partie.
Clearview, un outil d’investissement idéologique
Le cœur du livre de Kashmir Hill, Your face belongs to us, est consacré à l’histoire de l’entreprise Clearview. Hill rappelle que lorsqu’elle entend parler de cette entreprise jusqu’alors inconnue, face au silence qu’elle reçoit de ses fondateurs, elle contacte alors des policiers qui lui en font immédiatement les louanges : Clearview parvient à identifier n’importe qui, lui expliquent-ils ! Pourtant, quand ils entrent une photo de la journaliste dans le moteur, celui-ci ne fournit aucune réponse, alors que de nombreuses images d’elle sont disponibles en ligne, ce qui devrait permettre de la réidentifier facilement. En fait, ce n’est pas que la journaliste n’est pas dans la base, mais que toute recherche sur elle est protégée et déclenche même une alerte quand quelqu’un s’y essaye.
Cette anecdote permet de montrer, très concrètement, que ceux qui maintiennent la base disposent d’un pouvoir discrétionnaire immense, pouvant rendre des personnes totalement invisibles à la surveillance. Les constructeurs de Clearview peuvent voir qui est recherché par qui, mais également peuvent contrôler qui peut-être retrouvé. Cet exemple est vertigineux et souligne que les clefs d’un tel programme et d’un tel fichier sont terribles. Que se passera-t-il quand le suspect sera le supérieur d’un agent ? Qui pour garantir l’incorruptibilité d’un tel système ? On comprend vite que dans une société démocratique, un tel outil ne peut pas être maintenu par une entreprise privée, hormis si elle est soumise à des contrôles et des obligations des plus rigoureux – et le même problème se pose si cet outil est maintenu par une entité publique. Ce qui n’est absolument pas le cas de Clearview.
Hill raconte longuement l’histoire de la rencontre des cofondateurs de Clearview. Elle souligne le fait que ceux-ci se rencontrent du fait de leurs opinions politiques, lors de réunions et de meetings en soutien à la candidature de Donald Trump à l’été 2016. Hoan Ton-That, le développeur et confondateur de Clearview, fasciné par le candidat républicain, prend alors des positions politiques racistes que ses amis ne lui connaissaient pas. C’est via les réseaux républicains qu’il rencontre des personnages encore plus radicaux que lui, comme Peter Thiel, le milliardaire libertarien qui sera le premier financeur du projet, ou encore Richard Schwartz, qui deviendra son associé. Si les deux cofondateurs de Clearview ne sont pas des idéologues, le produit qu’ils vont imaginer correspond néanmoins aux convictions politiques de l’extrême-droite américaine dont ils se revendiquent à cette époque. L’entreprise va d’ailleurs particulièrement attirer (et aller chercher) des investisseurs au discours politique problématique, comme Paul Nehlen, tenant du nationalisme blanc.
C’est en voyant fonctionner l’application russe de reconnaissance faciale FindFace, qui permet de retrouver les gens inscrits sur VKontakte, le réseau social russe, que Ton-That a l’idée d’un produit similaire. En novembre 2016, il enregistre le site web smartcherckr.com. Le projet se présente alors comme un système de réidentification depuis une adresse mail ou une image, permettant d’inférer les opinions politiques des gens… dans le but « d’éradiquer les gauchistes » !
Si depuis les discours des fondateurs se sont policés, nous avons là des gens très conservateurs, qui tiennent des propos d’extrême-droite et qui vont concevoir un outil porteur de ces mêmes valeurs. La reconnaissance faciale et ceux qui la portent sont bien les révélateurs d’une idéologie : ils relèvent tout à fait du technofascisme que dénonce le journaliste Thibault Prévost dans son livre, Les prophètes de l’IA. Et nul ne peut faire l’économie du caractère fasciste que porte la possibilité de réidentifier n’importe qui, n’importe quand pour n’importe quelle raison. C’est d’ailleurs là l’héritage de la reconnaissance faciale, inspirée des théories racistes de Francis Galton, qui va donner naissance à la police scientifique d’Alphonse Bertillon, comme à l’eugénisme et à la phrénologie d’un Cesare Lombroso. L’analyse des traits distinctifs des être humains est d’abord et reste le moyen de masquer le racisme sous le vernis d’une rigueur qui se veut scientifique. Hill suggère (sans jamais le dire) que Clearview est un projet politique.
Clearview, un outil de contournement du droit
Hill souligne un autre point important. Elle n’est pas tendre avec l’arrivisme du jeune informaticien australien Hoan Ton-That qui se fait un nom en créant des outils de phishing via des quizz pour Facebook et des jeux pour iPhone. Elle montre que celui-ci n’a pas beaucoup de conscience morale et que le vol des données, comme pour bien de porteurs de projets numériques, n’est qu’un moyen de parvenir à ses fins. Dès l’origine, Ton-That mobilise le scraping pour construire son produit. Derrière ce joli mot, la pratique consiste à moissonner des contenus en ligne, sauf que cette récolte consiste à ramasser le blé qui a poussé sur les sites web des autres, sans le consentement des sites que l’on pille ni celui des utilisateurs dont on vole les données. En juin 2017, une première version de l’outil de recherche de visage est lancée, après avoir pillé quelque 2,1 millions de visages provenant de plusieurs services en ligne, comme Tinder. A la fin 2018, elle comportera plus de 2 milliards d’images. L’entreprise qui a changé de nom pour Clearview, dispose alors d’un produit robuste. Seuls Facebook et Google disposent de plus de portraits que lui.
Certes, Clearview a volé toutes les images disponibles. Facebook, Google ou Linked-in vont officiellement protester et demander l’effacement des images volées. Reste que les géants n’intentent aucun procès à la startup. Il faut dire que les entreprises de la Tech sont en effet refroidies par les échecs de Linked-in à lutter contre le scraping. Dans un bras de fer avec une entreprise qui a moissonné les données du réseau social, Linked-in a été débouté en 2017 par un jugement confirmé en appel en 2019. Le tribunal de Californie a déclaré qu’il était légal de collecter des informations publiques disponibles sur le net. Le jugement a gelé les ardeurs des géants à lutter contre un phénomène… qu’ils pratiquent eux-même très largement.
Hill pointe également que Ton-That n’est pas un génie du développement. Comme nombre d’ingénieurs, non seulement il vole les données, mais il a recours à des outils existants pour développer son application, comme OpenFace. Ton-That n’a pas d’états d’âme. Si les géants de la Tech refusent de sortir un produit de réidentification, c’est parce qu’ils ont peur des retombées désastreuses d’un tel outil, en termes d’image. Ce n’est pas le cas de Ton-That.
Reste que c’est bien la qualité de l’application qui va convaincre. Clearview permet d’identifier des gens dans la foule quelles que soient les conditions (ou presque). Pour tous ceux qui l’essayent, l’application semble magique. C’est à ce moment que les investisseurs et les clients se précipitent… D’abord et avant tout des investisseurs libertariens, très marqués politiquement. Pourtant, ceux-ci sont conscients que l’application risque d’avoir des problèmes avec les régulateurs et va s’attirer des poursuites en justice. Mais le risque semble plutôt les convaincre d’investir. Hill sous-entend par là un autre enjeu majeur : l’investissement s’affole quand les produits technologiques portent des enjeux de transformation légale. Si les capitaux-risqueurs ont tant donné à Uber, c’est certainement d’abord parce que l’entreprise permettait d’agir sur le droit du travail, en le contournant. C’est l’enjeu de modification des règles et des normes que promettent les outils qui muscle l’investissement. C’est parce que ces technologies promettent un changement politique qu’elles sont financées. Pour les investisseurs de Clearview, « pénétrer dans une zone de flou juridique constitue un avantage commercial ». Hill suggère une fois encore une règle importante. L’investissement technologique est bien plus politique qu’on ne le pense.
Mais, il n’y a pas que les investisseurs qui vont voir dans Clearview un outil pour contourner les normes. Ses clients également.
Après avoir tenté d’élargir le recrutement de premiers clients, Clearview va le resserrer drastiquement. Au-delà du symbole, son premier client va être la police de New York. Mais là encore, Clearview ne rencontre pas n’importe quels policiers. L’entreprise discute avec des officiers qui ont soutenu les théories problématiques de la vitre brisée, des officiers qui ont promu le développement du Big data dans la police et notamment les systèmes tout aussi problématiques de police prédictive. C’est donc par l’entremise de policiers radicaux, eux aussi très marqués à droite, que Clearview signe, en décembre 2018, un contrat avec la police de New York. Le contrat demande que l’entreprise prenne des engagements en matière de sécurité et de contrôle des agents qui l’utilisent. Le nombre de requêtes sur l’application décolle. Pourtant, après 6 mois de tests et plus 11 000 requêtes, la police de New York renonce à poursuivre le contrat. Elle aussi est inquiète de la perception par l’opinion publique. Sa direction a plus de pudeurs que les officiers qui ont permis le rapprochement entre la startup et la police. D’autres départements de police n’auront pas ces pudeurs. L’Indiana, la Floride, le Tennessee vont se mettre à utiliser Clearview. Viendront Londres puis le Département américain de la sécurité intérieure. Des agences du monde entier testent l’outil et l’adoptent : Interpol, la police australienne, canadienne… Clearview multiplie les contrats alors que l’entreprise est encore totalement inconnue du grand public. Malgré ces contrats publics, l’entreprise reste sous les radars. Assurément, parce que son usage permet là aussi pour ses clients de s’affranchir des règles, des normes et des modalités d’examen public en vigueur. Alors que la reconnaissance faciale est une technologie sulfureuse, l’abonnement discret à Clearview permet de le rendre invisible. La zone de flou de légalité profite à tous.
Discrètement, la reconnaissance faciale est advenue
En 2017, un militant de l’ACLU entend parler de Rekognition, l’outil de reconnaissance faciale développé par Amazon et lance une campagne à son encontre. L’ACLU lance l’outil sur les photos de 535 membres du Congrès et en identifie faussement 28 comme des criminels connus des services de police. L’ACLU lance sa campagne pour interdire la surveillance des visages, que quelques villes adopteront, comme San Francisco ou Oakland. Pour Clearview, ces controverses sont préjudiciables. La startup va alors utiliser le même test sur son propre produit qui ne déclenche aucune erreur et identifie parfaitement les 535 membres du Congrès. D’ailleurs, quand on met une photo provenant du site This Person Does not exist dans Clearview, l’application ne produit aucun résultat !
Bien sûr, Kashmir Hill rappelle que des Américains qui ont été et continuent d’être indûment arrêtés à cause de la reconnaissance faciale. Mais ces rares exemples semblent n’avoir plus grand poids. Le Nist qui a testé quelque 200 algorithmes de reconnaissance faciale a montré qu’il y avait de fortes variations selon les produits.
En décembre 2021, Clearview a soumis son algorithme au NIST pour évaluation. Son logiciel de reconnaissance facial a obtenu parmi les meilleurs résultats.
Pour les médias, ces variations dans les résultats des outils de reconnaissance faciale montrent que la reconnaissance faciale est biaisée, mais elles montrent plutôt qu‘il y a de bons algorithmes et de mauvais. Le NIST dispose de 2 sortes de tests, le premier pour comparer deux images et déterminer si le système est capable d’identifier une même personne et le second pour chercher un visage particulier dans une base de données remplie de visages. Contrairement à ce que l’on pense, les pires biais se trouvent plutôt dans le premier cas, où les systèmes ont du mal avec à reconnaître les sujets féminin, noirs ou asiatiques. « Reste que, aussi précis qu’ils soient, les algorithmes de reconnaissance faciale déployés dans des sociétés inégalitaires et structurellement racistes vont produire des résultats racistes ». Les personnes faussement arrêtées par la reconnaissance faciale étaient toutes noires, rappelle Hill. Ce qui est une preuve supplémentaire, non seulement de ses défauts, mais plus encore de son ancrage idéologique.
L’exemple du développement de Clearview nous rappelle en tout cas qu’il n’y a pas de neutralité technologique. Les outils ne sont pas des outils qui dépendent des usages qu’on en fait, comme le dit l’antienne. Ils ont des fonctionnalités spécifiques qui embarquent des idéologies. L’essor de Clearview nous montre très bien qu’il est un instrument au service d’un projet politique. Et que quelques soient ses défauts ou ses qualités, la reconnaissance faciale sert des objectifs qui ne sont pas que ceux, financiers, d’une classe sociale qui a intérêt à son succès, mais bien avant tout, ceux, politiques, d’idéologues qui ont un projet. Et ce projet, on l’a vu, n’est pas celui de construire une société apaisée, mais son exact contraire : faire avancer, dans l’ombre, les technologies nécessaires à l’avènement de la dissolution de l’Etat de droit.
(à suivre)