Est-ce que la complexité des calculs les améliore ?

Plus de données et de calculs ne signifient pas de meilleurs résultats !

Hubert Guillaud

noeud, ditherisé.

Malgré leurs promesses, les calculs, notamment quand ils s’appliquent au social, sont très souvent défaillants. Pour remédier à leurs limites, l’enjeu est d’accéder à toujours plus de données pour les affiner. La promesse est répétée ad nauseam : c’est en accédant à toujours plus de données que nous améliorerons les calculs ! Un mantra dont il est toujours très difficile de démontrer les limites.

En 2017, le programme d’études conjoint de Princeton et de Columbia sur l’avenir des familles et le bien être des enfants a donné accès à un immense jeu de données de grande qualité sur des centaines d’enfants et leurs familles, invitant plus de 450 chercheurs et 160 équipes de recherches à les utiliser dans le cadre d’un défi de data science visant à améliorer la prévisibilité des trajectoires de vies. Le jeu de données portait sur plus de 4000 familles avec plus de 12 000 variables par familles centrées sur des enfants de la naissance à leurs 9 ans, expliquent les chercheurs (par exemple des données démographiques, des données sur le territoire, sur la santé ou l’évolution professionnelle des parents, sur le comportement, avec des tests cognitifs et de vocabulaire réalisés à intervalles réguliers…).

Pour la moitié des familles, les chercheurs ont également donné accès aux données relatives à ces enfants et familles à l’âge de 15 ans afin que les chercheurs puissent prédire des résultats sur l’évolution sociale de l’autre moitié des familles. Un jeu d’entraînement rare et particulièrement riche qui avait pour ambition de permettre d’améliorer l’exactitude des prédictions sociales. Le défi consistait à prédire les résultats scolaires des enfants, évaluer leurs capacités psychologiques à la persévérance dans l’effort, prédire les difficultés matérielles des familles comme les risques de licenciement ou d’expulsion ainsi que le niveau de formation professionnelle des parents. 

Pourtant, aucun des 160 résultats proposés par quelques-uns des meilleurs laboratoires de recherche du monde n’a été particulièrement performant. Aucune solution﹣malgré la diversité des techniques de machine learning utilisées ﹣ n’a permis de produire des prédictions fiables, rapportent les organisateurs dans le bilan de ce défi

Les scientifiques ont également comparé les modèles issus du machine learning et les modèles prédictifs traditionnels qui n’utilisent que 4 variables pour produire des prédictions (à savoir en utilisant seulement l’origine éthnique de la mère, le statut marital des parents à la naissance, leur niveau d’éducation et un résultat de l’enfant à 9 ans). Les chercheurs ont montré que les modèles prédictifs traditionnels faisaient d’aussi bonnes prédictions voire de meilleures que les modèles plus élaborés reposant sur le machine learning﹣même si, les uns comme les autres se révèlent très mauvais à prédire le futur. 

Image : De la difficulté à prédire. En bleu, les résultats de prédiction des meilleures méthodes de machine learning sur les différents éléments à prédire depuis les 12 000 variables disponibles dans le cadre du défi des familles fragiles. En vert, les résultats obtenus depuis de simples et traditionnelles régressions linéaires depuis seulement 4 variables, dans les mêmes domaines, à savoir (de gauche à droite) celle des difficultés matérielles, la moyenne scolaire (GPA, Grade point average), la persévérance (Grit), le risque d’expulsion (eviction), la formation professionnelle et le risque de licenciement. Via la présentation d’Arvind NarayananLe graphique montre que les prédictions du social sont difficiles et que les meilleures techniques de machine learning ne les améliorent pas vraiment puisqu’elles ne font pas significativement mieux que des calculs plus simples.

Ces résultats devraient nous interroger profondément. A l’heure où les data scientists ne cessent d’exiger plus de données pour toujours améliorer leurs prédictions, cette étude nous rappelle que plus de données n’est pas toujours utile. Que l’amélioration est trop souvent marginale pour ne pas dire anecdotique. Pire, la complexité qu’introduit l’IA dans les calculs rend les résultats très difficiles à expliquer, à reproduire, à vérifier… alors que les méthodes traditionnelles﹣comme la régression statistique qui permet d’identifier les variables qui ont un impact ﹣, elles, n’utilisent que peu de données, sont compréhensibles, vérifiables et opposables… sans compter qu’elles permettent d’éviter d’accumuler des données problématiques dans les calculs. Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations, explique le chercheur Arvind Narayanan dans une de ses excellentes présentations, où il dénonce les défaillances majeures et durables de l’IA à prédire le social. 

Dans le livre que le chercheur signe avec son collègue Sayash Kapoor, AI Snake Oil (Princeton University Press, 2024, non traduit), ils montrent à plusieurs reprises que la complexification des calculs ne les améliore pas toujours ou alors de manière bien trop marginale par rapport à la chape d’opacité que la complexité introduit. Nous n’avons pas besoin de meilleurs calculs (pour autant que leur complexification les améliore) que de calculs qui puissent être redevables, opposables et compréhensibles, rappellent-ils. 

Le problème, c’est que le marketing de la technique nous invite massivement à croire le contraire. Trop souvent, nous privilégions une débauche de calculs, là où des calculs simples fonctionnent aussi bien, simplement parce qu’il y a un fort intérêt commercial à vendre des produits de calculs complexes. A l’ère du calcul, tout l’enjeu est de vendre plus de calculs et de nous faire croire qu’ils fonctionnent mieux.

Qu’est-ce que la complexité améliore ? Est-ce que cette amélioration est suffisante ou signifiante pour en valoir le coup ? A l’avantage de qui et au détriment de qui ? Est-ce que cette complexité est nécessaire ?… sont d’autres formes de cette même question que nous ne posons pas suffisamment. Ajouter de la complexité crée de l’opacité et renforce l’asymétrie de pouvoir. Et nous fait oublier que la simplicité des calculs les améliore certainement bien plus que leur complexification

Hubert Guillaud

PS : 4 ans plus tard, le sociologue Ian Lundberg, responsable du défi de data science sur les trajectoires de vie des enfants, publie une étude pour comprendre pourquoi l’avenir des enfants est si imprévisible, rapporte Nautilus. Les lacunes de la prédiction ne résulteraient pas d’un manque de données mais plutôt de limites fondamentales de notre capacité à prédire les complexités de la vie, du fait notamment d’événements inattendus ainsi que d’erreurs d’apprentissages : quand il y a trop de variables, les algorithmes ont du mal à déceler le bon modèle. C’est là un problème irréductible de la complexité ! Enfin, soulignent les chercheurs, la recherche qualitative fournit des informations qu’il reste très difficile de traduire en chiffres. Les résultats ne s’amélioreront pas avec plus de données ou de calcul : « Les résultats sociaux sont imprévisibles et complexes. Et nous devons simplement faire la paix avec cette imprévisibilité ».