Le coût caché de l’IA c’est la vérification

« L’IA ne fonctionne toujours pas très bien en entreprise, les entreprises font semblant, mais un règlement de comptes est imminent », estime le journaliste Thomas Claburn  pour The Register. « Un code peut sembler correct, réussir les tests et pourtant être erroné. On mesure généralement cela grâce à des tests de performance. Or, beaucoup des entreprises n’ont pas mis en place de système de retour d’information adéquat pour évaluer l’impact du codage basé sur l’IA sur les résultats qui leur importent. Le nombre de lignes de code n’est pas un indicateur d’excellence. (…) nous avons besoin d’un nouvel ensemble de métriques, pour mesurer l’impact de l’IA sur la performance en ingénierie », explique Dorian Smiley de Codestrap.

« Le nombre de lignes de code, le nombre de présentations produites, le nombre de tickets fermés, le temps gagné sur une tâche, le volume de texte généré, sont des métriques assez faciles à faire remonter dans un tableau de bord, faciles aussi à présenter à une direction générale. Mais ce sont souvent de très mauvaises mesures de la qualité réelle du travail livré.», rappelle Arthur Charpentier sur son blog. « Les lignes de code, ou le nombre de pull requests, ne sont pas des mesures d’excellence en ingénierie. Ce qui compte, ce sont plutôt des variables comme la fréquence de déploiement, le délai de mise en production, le taux d’échec des changements, le temps de rétablissement, la sévérité des incidents. Dès lors, une partie de l’optimisme contemporain vient peut-être d’une confusion très simple: on confond ce qui est facile à compter avec ce qui est réellement important. » 

L’adoption de l’IA peut s’accompagner d’améliorations sur certaines dimensions intermédiaires, par exemple la documentation ou la rapidité perçue sur quelques tâches, tout en coexistant avec une baisse de la « cadence de livraison » et de la stabilité d’ensemble, explique encore Charpentier. « L’IA peut donner aux équipes le sentiment d’aller plus vite, de produire plus, de fluidifier certains gestes, tout en dégradant les propriétés du système qui importent vraiment ». « Lorsque Clarburn explique que les grands cabinets de conseil utilisent déjà l’IA à grande échelle pour rédiger des PowerPoint ou d’autres livrables, et que les erreurs dans le travail de bureau risquent d’être plus difficiles à détecter que dans le code faute de tests de référence comparables, il parle d’autre chose que d’une faiblesse technique. Il décrit une économie de services dans laquelle la qualité devient opaque au client. Et pas que lui, parfois même à l’organisation qui vend le service.» 

Charpentier rappelle que l’accélération peut rendre l’organisation entière « rationnellement aveugle à la dégradation de la qualité, parce que le coût immédiat de la vigilance pèse sur ceux qui doivent livrer vite, alors que le coût du dommage est reporté plus tard ». « Un risque devient très difficile à couvrir lorsque ni le client, ni le prestataire, ni l’assureur ne savent clairement qui devait voir l’erreur, à quel moment, et selon quelle procédure », rappelle le spécialiste des techniques d’assurances. « Chaque gain apparent de vitesse déplace en réalité une charge vers l’aval. Il faut relire, comparer, tester, contextualiser, parfois réécrire. Et si personne n’assume sérieusement ce travail, le coût ne disparaît pas. Il réapparaît plus tard sous forme d’erreur, de correction en urgence, de perte de confiance, puis éventuellement de contentieux. Ce que l’on présente comme un gain de productivité n’est donc souvent qu’un déplacement comptable. On économise au début sur la production, pour dépenser plus tard sur le contrôle, ou sur les conséquences de son absence. » « Le ralentissement n’est pas un défaut du système, il en est la condition de crédibilité ! Tant qu’une organisation célèbre les gains de vitesse sans financer sérieusement une infrastructure de vérification, elle sous-estime nécessairement le coût complet du système.» Ce qu’il résume de belles formules : le coût caché de l’IA n’est pas la génération, c’est la vérification. L’automatisation ne supprime pas l’erreur, elle la déplace. 

« Une erreur de présentation, de recommandation, de priorisation ou de raisonnement n’est pas nécessairement la faute d’un utilisateur inattentif. Elle peut être le produit d’un système dans lequel on a retiré aux humains les conditions mêmes d’un contrôle effectif, tout en continuant à leur demander d’en assumer la responsabilité finale. » 

« Une même technologie peut être présentée en interne comme un gain de productivité, être interprétée par le client comme une baisse de valeur, et être analysée par l’assureur comme une hausse du risque.»