Tension de la productivité : le goulot de la diffusion

A l’heure où les outils pour produire du code automatiquement se déploient partout, la question de la productivité devient de plus en plus polarisée, rappelle le journaliste du Financial Times, John Burn-Murdoch. « Un point de tension majeur entre les partisans et les détracteurs de l’IA réside dans le décalage entre l’augmentation constatée de la productivité des développeurs et l’absence apparente d’une croissance correspondante sur la création de produits ou de valeur ». Or, une nouvelle étude permet peut-être de comprendre le hiatus. 

Mert Demirer du MIT et ses co-auteurs a analysé le travail des développeurs de logiciels avant et après l’adoption d’outils d’IA. Ils ont mesuré cet impact à différents niveaux : la quantité de code écrit, le nombre de fichiers modifiés, le nombre de projets ou de fonctionnalités développés et les mises en production de nouveaux logiciels. L’étude a révélé que l’IA avait un impact considérable en amont : les développeurs ont créé ou modifié près de 300 % de fichiers supplémentaires. Cependant, cette augmentation a été réduite de moitié (à 150 %) lorsqu’ils ont examiné le nombre de fichiers soumis à l’évaluation, et ce dernier a lui-même été divisé par cinq, pour atteindre une hausse d’environ 30 % du nombre de mises en production complètes. 

Une augmentation de 30 % de la production du produit phare d’une entreprise est significative, mais les résultats montrent néanmoins à quel point la perception, voire certaines mesures directes, de l’impact de l’IA sur la productivité peuvent être déconnectées de la valeur ajoutée réelle. L’accélération spectaculaire de la productivité se traduit par des gains bien plus modestes une fois que ce travail a franchi tous les obstacles liés à la validation et à la mise en production. L’enjeu de la vérification reste bien en partie le goulot d’étranglement de la productivité sous IA. Mais ce n’est pas le seul… « Lorsque les chercheurs ont examiné si l’augmentation de la production de logiciels grâce à l’IA avait entraîné une hausse de la consommation, ils n’ont trouvé que peu d’éléments probants. La forte augmentation du nombre de lancements d’applications mobiles au cours de l’année écoulée ne s’est pas accompagnée d’une hausse des téléchargements ; la plupart des nouvelles applications peinent à conquérir un public, même modeste. »

Ce que le Financial Times résume d’un graphique parlant, montrant l’envolée des mises à jour d’applications, alors que l’usage ne progresse pas :

Ce que pointe  Burn-Murdoch, c’est qu’entre l’augmentation de la production des systèmes et leur diffusion, il y a également un goulot d’étranglement. Comme le dit Gary Marcus, l’IA appliquée au code permet certainement une productivité importante, mais a un impact concret limité, car produire ne suffit pas. Par exemple, l’IA permet peut-être d’augmenter la production de livres, mais cela ne signifie qu’ils soient de meilleure qualité ni qu’ils se vendent davantage, comme tentait de l’esquisser un graphique du Washington Post montrant la corrélation entre l’essor de l’IA et l’augmentation de la production de livres. Même chose dans le domaine de la musique ou de la production académique. La production augmente, mais les débouchés stagnent. En partie parce que certains marchés sont saturés et de l’autre parce que cette accélération volumétrique n’améliore pas la qualité pour autant. Comme le résume un développeur avec ironie : « avant l’IA, je passais un week-end à développer une seule application inutile. Maintenant, je peux en développer 67 en un week-end, chacune avec un logo, une page web sophistiquée et… zéro utilisateur. » C’est ce que constate également Paul Kedrosky : nous sommes en train de privilégier la production à la valeur, à l’image de la récente démonstration d’Anthropic valorisant l’explosion de la productivité des développeurs grâce à ses modèles. Or, nous ne mesurons ici que le Sloc (software lines of code, le nombre de lignes de code des logiciels), une sorte de Slop interne aux entreprises. Or, rappelle Kedrosky : « Les meilleurs ingénieurs créent de la valeur en écrivant moins de code, pas plus.» Le nombre de lignes de code valorise la quantité, non l’utilité. L’IA gonfle systématiquement cette métrique. Et une multiplication par huit du nombre de lignes de code correspond généralement à une augmentation bien moindre du rendement réel d’ingénierie. Le volume de code engendre des risques. Plus de code signifie plus de maintenance, de complexité, de surface d’attaque et de charge de déboggage. 

Les entreprises cherchent désormais à optimiser leurs dépenses de production d’IA afin d’en réduire le coût, estime encore John Burn-Murdoch. Demirer et ses co-auteurs estiment que l’explication la plus probable de l’invisibilisation des gains de productivité réside dans le fait que les structures organisationnelles et les marchés actuels ne sont pas conçus pour tirer pleinement parti des gains sous-jacents. Le fait que les entreprises établies du secteur des logiciels et du travail intellectuel ne constatent que de modestes gains de productivité en intégrant l’IA à leurs méthodes de travail et structures organisationnelles existantes, tandis que l’utilisation, le chiffre d’affaires et la productivité explosent chez Anthropic et OpenAI – des entreprises construites autour de l’IA, dont les produits sont conçus et évalués par elle – est peut-être un premier signe de la même dynamique à l’œuvre ici, mais à un rythme beaucoup plus rapide. 

« Je pense que les deux camps ont raison. Une grande partie de l’utilisation et des dépenses des entreprises en matière d’IA sont aujourd’hui inefficaces. Mais les gains de productivité constatés reflètent l’interaction entre de puissants outils et des structures et processus mal adaptés. A terme, ces frictions et ces goulots d’étranglement ne feront que s’atténuer », estime Burn-Murdoch, mais ce n’est peut-être pas si sûr. L’IA sature également le marché et sa prolifération empêche de saisir où des gains sont encore possibles. En rendant tout possible, elle génère une confusion qui n’aide certainement pas à voir là où elle devrait être utile et là où elle ne l’est pas.