Défenseur des droits : pour une maîtrise de l’intervention humaine et une transparence effective des algorithmes

Les risques algorithmiques sont invisibles, notamment parce que « les citoyens contestent davantage les résultats des décisions dont ils sont l’objet que le processus qui y conduit », rappelle le Défenseur des droits dans un rapport très juridique sur algorithmes, IA et services publics qui défend le respect des droits des usagers. Le rapport constate « l’algorithmisation de l’administration » et tente de dresser un bilan des garanties offertes aux usagers, notamment en observant la maîtrise de l’intervention humaine dans la décision et dans son atténuation. Le Défenseur des droits rappelle que faire valider une décision d’un système sans vérification, ne peut pas être considérée comme une intervention. Et le Défenseur de constater que l’exclusion par le calcul automatique de dossiers de candidats dans Parcoursup ou dans Affelnet est à ce sens problématique (tout comme le sont également les corrections auxquelles procède l’algorithme central qui redistribue les dossiers pour prendre en compte les quotas hors Académie et de boursiers, sans que les Commissions d’examen aient leurs mots à dire, pourrait-on faire remarquer). 

Sur la question de la transparence des décisions, le Défenseur des droits rappelle qu’elle est un élément clef et un prérequis pour assurer la loyauté des traitements et qu’elle est un enjeu d’intelligibilité de l’action administrative. Le rapport invite les autorités à mettre en place des sanctions en cas de non publication des règles de traitements et à produire des modèles de demande d’information pour les usagers.