Dans la même rubrique
- ↪ Google Maps n’est pas un annuaire et Airbnb n’est pas un ogre
- ↪ Coincés dans les applications de nettoyage
- ↪ Meta : de l’IA publicitaire à la fraude publicitaire
- ↪ Privacy Trap : sortir du piège de la seule protection des données
- ↪ “Il est probable que l’empreinte environnementale de l’IA soit aujourd’hui la plus faible jamais atteinte”
En interview pour le MediaTV (ça commence vers 28’30), Bastien Le Querrec, juriste à La Quadrature du Net, explique le fonctionnement des algorithmes de scoring de la Caisse d’allocations familiales (CAF). Ce score de risque de fraude (qui est en réalité un score de risque d’indu, c’est-à-dire de sommes trop perçues par les bénéficiaires) est un chiffre entre zéro et un qui calcule le risque d’avoir perçu « 600 euros d’allocations en trop sur 6 mois » et qui permet de générer des listes d’allocataires à contrôler. Différents facteurs viennent augmenter ce score, comme l’ont montré les travaux de la Quadrature ou de Lighthouse Reports et du Monde, comme le fait de percevoir le RSA ou l’allocation adulte handicapé… Mais également d’être mère isolée (écoutez l’édifiant reportage des Pieds sur Terre ou celui d’Algorithmique de la journaliste Mathilde Saliou consacrés à ces enjeux, ou procurez-vous Les algorithmes contre la société, où une vingtaine de pages sont consacrées aux enjeux du scoring de la CAF). Chaque mois, la CAF calcule donc pour l’ensemble des allocataires, soit la moitié de la population française, un score de probabilité d’avoir 600 euros d’indus sur les 6 derniers mois. « La conséquence, c’est que ce sont les personnes les plus précaires qui accumulent des critères de précarité, qui vont être surciblées ».
Bastien Le Querrec rappelle que depuis plusieurs années la Quadrature a tenté de faire la lumière sur ce score de suspicion, sans avoir accès au code source de l’algorithme utilisé actuellement. Mise en cause par les critiques, la CAF a fini par modifier sa doctrine : elle vient ainsi de publier le code source des algorithmes de score de risque sur son site (voir également le dossier de presse publié par la CAF).
Les critères comme le fait de toucher le RSA ou d’avoir de faibles revenus sont toujours présents, souligne Le Querrec. Avec les différents modèles de ce score, les critères ont évolué, rappelle le juriste. Dans la version actuelle, les critères les plus problématiques ont été retirés (la nationalité, le sexe, l’adresse n’entrent pas dans les calculs du modèle… Le nombre de fois où vous vous connectez à votre espace personnel sur le site de la CAF ou le fait d’avoir déjà fait l’objet d’un contrôle n’entre plus en ligne de compte, rappelle Clubic), mais les effets sont restés les mêmes, car la suspicion se dirige toujours vers les mêmes personnes du fait d’effets proxies, c’est-à-dire de variables de substitution. Une étude interne de la CAF a été communiquée à son comité d’éthique mis en place en 2025 (mais n’a pas été publiée). Elle montrerait que dans le modèle 2018 comme dans le modèle 2025, on a une sureprésentation de certaines catégories de personnes en fonction des minimas sociaux ou de la composition du foyer (comme c’est le cas des familles monoparentales et des mères isolées notamment), ainsi que des personnes de nationalité étrangère.
En octobre 2024, la Quadrature et 14 autres associations ont déposé un recours au Conseil d’Etat pour faire reconnaître l’illégalité de l’algorithme utilisé par la CAF (elles sont désormais 25 et la Quadrature a rendu disponible son mémoire). Le Défenseur des droits qui a été interrogé par le Conseil d’Etat en octobre a produit des observations (non publiées) dans lesquelles le Défenseur parle de présomption de discrimination et estime que la CAF n’a pas démontré l’absence de discrimination indirecte à l’encontre de populations protégées. Mediapart, rapporte les constatations du Défenseur qui estime que le traitement algorithmique : « paraît produire un surcontrôle des populations les plus précaires et donc constituer une différence de traitement fondée sur la particulière vulnérabilité économique. Une présomption de discrimination indirecte semble établie ».
Les indus sont souvent liés à des erreurs de déclaration plus qu’à de la fraude. En 2022, la CAF indiquait que sur l’ensemble 100 milliards de prestations, il y avait un peu moins d’un milliard d’indus retrouvés et 350 millions de fraude constatés, ce qui, proportionnellement à la surveillance générale de la population produite par ce scoring, semble un résultat assez anecdotique. « L’algorithme va chercher là où c’est le plus efficace d’aller trouver des indus, c’est-à-dire là où les prestations sont complexes », rappelle Le Querrec, donc cible les personnes les plus précaires, celles qui dépendent d’un faisceau d’aides pour survivre.
Dans son mémoire de défense envoyé au Conseil d’Etat, la CAF continue à estimer que son algorithme ne produit pas de discrimination, ni de surveillance de masse (elle ne l’a pas publié). Mais ce n’est pas l’avis des associations qui contestent les modalités de calcul devant le Conseil d’Etat.
Dans les comptes rendus des réunions du Comité d’éthique que la CAF a mis en place (où quelques associations ont pris place aux côtés d’experts et de représentants de la CAF) ont apprend par exemple que 6 déclarations sur 10 comportent des erreurs et que la réforme de la solidarité à la source a pour but de les réduire en envoyant des informations pré-remplies aux allocataires. Dans un autre compte-rendu, les participants du Comité d’éthique estiment qu’il « serait utile de comparer les effets d’une campagne de prévention des indus. Il serait également utile de connaître précisément les causes des indus et des erreurs. La Cnaf indique qu’un travail d’analyse des causes des indus est en cours.»
Un autre enjeu est que la solidarité à la source (c’est-à-dire le préremplissage d’information via des échanges d’informations entre administration ou avec les employeurs, comme la Déclaration sociale nominative que nous évoquions ici) favorise une asymétrie d’information accrue entre les allocataires et les services au risque d’éloigner encore l’enjeu majeur « de l’accompagnement, de la facilitation et de la simplification de certaines prestations » (même si la CAF reconnaît qu’il va lui falloir faire des efforts en ce sens).
Malgré ce premier effort de transparence qui constitue une vraie évolution de la part de la CAF, on regrettera que les études spécifiques que la CAF a présentées à son comité éthique ne soient pas publiées. Par exemple, dans le compte-rendu de la réunion du comité d’éthique du 6 octobre 2025, il a été présenté une méthodologie de réduction des biais pour diminuer le ciblage des familles monoparentales à laquelle les citoyens devraient pouvoir accéder.
On pourrait interroger bien d’autres enjeux encore. Par exemple, le seuil défini de risque d’indu à 600 euros sur 6 mois (alors que ce seuil pourrait être différent selon que les personnes sont seules ou avec enfants… et qu’elles reçoivent des montants de prestations différents)… ou le fait d’observer les indus pour des montants bien plus élevés pour identifier les situations vraiment problématiques… Des évolutions de règles possibles dont la CAF se défend d’avance auprès de son Comité d’éthique en indiquant que le changement de ces seuils nécessiterait un lourd travail pour réadresser la sélection des variables.
Dans le dernier compte-rendu de réunion de son comité éthique de novembre 2025, la CAF rappelle que le Conseil de l’Europe invite à abandonner les modèles de ciblage depuis 2017 pour renforcer une sélection aléatoire et que les contrôles de la CAF vont devoir s’inscrire dans ce cadre à l’avenir, ce qui laisse supposer que l’automatisation va devoir être contrebalancée. La CAF indique également avoir pris note « qu’elle doit communiquer largement les éléments de documentation du modèle de façon transparente, avec un effort de vulgarisation pour les rendre accessibles aux publics les moins initiés, et intelligible pour les personnes concernées (les allocataires).» A regarder les explications fournies par la CAF pour le moment, malgré l’effort de transparence, nous n’y sommes pas encore.