L’algorithme a encore gagné

Dans une tribune pour le Guardian, la chercheuse suédoise, Charlotta Kronblad, professeure à l’université de Gothenburg, raconte comment elle a tenté de se battre contre un algorithme d’affectation. En 2020, la ville de Göteborg a déployé un algorithme pour attribuer des places dans les collèges et optimiser les distances, les préférences et les capacités d’accueil. Mais voilà, « des centaines d’enfants ont été affectés à des écoles situées à des kilomètres de chez eux – de l’autre côté de rivières et de fjords, par-delà de grands axes routiers, dans des quartiers qu’ils n’avaient jamais visités et auxquels ils n’avaient aucun lien. Les parents, incrédules, ont constaté ces décisions. Avait-on seulement vérifié si un enfant de 13 ans pouvait raisonnablement parcourir ce trajet à pied en hiver ? Quel était le raisonnement derrière ces décisions ? Leurs préférences exprimées avaient-elles tout simplement été ignorées ? Personne au sein de l’administration scolaire ne semblait capable – ni disposé – à expliquer ce qui s’était passé ni à corriger les erreurs.»

Le fils de Charlotta était parmi les enfants désavantagés par l’algorithme. L’administration scolaire a indiqué que les parents pouvaient faire appel en cas de problème, comme si le problème n’était qu’une question d’insatisfaction individuelle et non pas un dysfonctionnement du système. Il a fallu près d’un an avant que les responsables municipaux ne confirment ce que beaucoup de parents soupçonnaient : « l’algorithme avait reçu des instructions erronées. Il calculait les distances à vol d’oiseau, et non celles des trajets piétonniers réels. »

Suite au tollé des familles, les procédures ont été améliorées pour l’année scolaire suivante. Mais pour environ 700 enfants déjà pénalisés par l’algorithme défectueux, rien n’a changé. Ils allaient passer toute leur scolarité au collège dans des établissements loin de chez eux.

L’injustice algorithmique qui en résulte n’est pas un problème abstrait, ni un problème propre au contexte suédois ; elle fait douloureusement écho à de récents scandales en Europe. Que ce soit celui de la Poste au Royaume-Uni ou celui des allocations familiales aux Pays-Bas, rappelle la chercheuse. Charlotta Kronblad a donc intenté un procès à la ville. Elle n’a pas contesté le placement individuel de son fils, mais la légalité de l’ensemble du système décisionnel et de ses résultats. « J’ai soutenu que la conception de l’algorithme violait la législation en vigueur.» 

Faute d’accès aux algorithmes du système, elle n’a pu les présenter au tribunal. Elle a fourni une analyse des affectations problématiques pour reconstituer son fonctionnement… Les services de la ville, eux, ont estimé que le système n’était qu’un simple outil d’aide à la décision qui n’a commis aucune faute, sans en fournir la moindre explication. 

« Ils n’ont pas eu à le faire. Le tribunal a fait peser la charge de la preuve sur moi. Il était de ma responsabilité, ont déclaré les juges, de démontrer que le système était illégal. L’analyse des décisions ne suffisait pas. Sans preuve directe du code, je ne pouvais pas atteindre le seuil de preuve requis. » Et sans communication du code, il était impossible de rien prouver. « L’affaire a été classée sans suite. » 

Nous savons que les algorithmes ne sont pas parfaits. C’est la raison d’être des tribunaux : contraindre à la divulgation, examiner et corriger. « Mais lorsque les cadres procéduraux restent obstinément analogiques et que les juges n’ont ni les outils, ni la compétence, ni le mandat pour interroger les systèmes algorithmiques, l’injustice triomphe. » Alors que nos autorités publiques déploient à grande échelle des systèmes opaques, les citoyens, confrontés à des conséquences bouleversantes, sont invités à faire appel individuellement. 

La charge de la preuve ne peut pas reposer sur les victimes, rappelle la chercheuse. Nous devons élaborer des règles de procédure permettant des recours qui ne soient pas individuels et qui exigent la transparence technique.