L’automatisation est une domination

Dans un article pour First Monday, la chercheuse Jenna Burrell s’interroge sur l’injustice algorithmique et nous invite à comprendre les décisions automatiques comme des enjeux de domination. Pour elle, la question des enjeux des algorithmes sur la société ne devrait pas convoquer l’éthique ou la transparence pour les améliorer, mais arguer qu’ils sont avant tout un problème de rapports de pouvoir. Quand des scores de récidive s’en prennent à des gens, le problème n’est pas que ce calcul soit opaque et défaillant, mais repose d’abord sur le fait que des institutions de domination y aient recours. Que les systèmes de capture ou de traitement de données fonctionnent ou dysfonctionnent, ils prolongent l’un comme l’autre des formes de domination qui sont le problème. C’est le renforcement des rapports de pouvoir par l’automatisation qui est problématique, notamment parce que ces systèmes offrent encore moins de recours que ceux qu’ils remplacent. La justice algorithmique ne peut pas être réduite à l’équité, insiste la chercheuse. « Considérer que l’automatisation peut produire une injustice par domination laisse ouverte la possibilité que le refus de la prise de décision automatisée dans certains contextes soit une réponse appropriée ». « La justice ne peut pas se définir sur la base de ce qui peut être accompli techniquement », conclut Burrell.