Du mythe du passage à l’échelle de l’IA

Arvind Narayanan et Sayash Kapoor déconstruisent l’idée que les modèles de langages de plus en plus grands se révèleront toujours plus performants. L’élargissement de l’échelle ne conduira pas à l’intelligence artificielle générale. Certes, les grands LLM permettent d’améliorer la prédiction du mot suivant, mais n’agissent en rien sur la tendance des modèles à acquérir de nouvelles capacités et il est probable que cette tendance à améliorer la prédiction du mot suivant atteigne un plateau. « Aucune tendance exponentielle ne peut se poursuivre indéfiniment », mais nous ne savons pas quand elle va plafonner. L’amélioration de la qualité des données et des modèles plus petits peuvent permettre de créer des modèles tout aussi puissants que les plus grands. Et il est probable que le développement de données synthétiques ait bien moins d’effet que l’obtention de meilleures données. Les données synthétiques ont bien fonctionné pour AlphaGo, mais l’auto-jeu ne fonctionne bien que parce qu’il est un environnement fermé et autonome. Cela pourrait s’appliquer à d’autres domaines, comme le code, mais cela ne fonctionnera pas sur des tâches plus ouvertes comme la traduction, expliquent les spécialistes.