ChatGPT : une technologie qui a déjà atteint ses limites ?
Les modèles de langage de grande taille, abrégés LLM en anglais, n’ont rien de magique. Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté. Il leur faut donc des données sur lesquelles les entraîner. Le coup de génie d’OpenAI a été d’oser entraîner ses modèles sur des volumes de textes très importants. Si le modèle GPT-1 avait accès à seulement 4,5 Go de texte de BookCorpus, GPT-3 a été formé sur 570 Go de texte provenant de Common Crawl, Web Text, Wikipedia anglais, GitHub, Reddit et certains romans gratuits d’auteurs non publiés. Ces ensembles de données contiennent jusqu’à 10 000 milliards de mots. Pour GPT-4, OpenAI a utilisé Stack Overflow, un forum de questions-réponses entre développeurs, pour améliorer les capacités à coder de son modèle.
Braquage en règle ?
Une récente étude sur les modèles T5 de Google et LLaMA de Meta montre qu’ils ont été entraînés sur l’ensemble de données C4 (Colossal Clean Crawled Corpus) de CommonCrawl, un contenu massif de 15 millions de sites Web aspiré depuis avril 2019. Les trois sites les plus importants sont patents.google.com qui contient les brevets du monde entier, wikipedia.org et scribd.com, une bibliothèque numérique accessible uniquement par abonnement. B-OK.org, un site notoire d’échange de livres piratés, qui a depuis été fermé, ainsi que 27 autres sites de contrefaçon étaient également présents dans l’ensemble de données.
Les artistes, les créateurs, les agences de presse et les journalistes ont reproché aux éditeurs de LLM d’avoir utilisé leurs contenus sans autorisation ni compensation. Une question éthique se pose. Le dernier modèle d’OpenAI est propriétaire et payant, mais les contenus qui ont servi à l’entraîner ne lui appartiennent pas. Ils sont la lente sédimentation de deux décennies d’échanges entre les internautes du monde entier. N’y aurait-il pas appropriation ? C’est ce qu’affirment Reddit, Stack Overflow ou encore News/Media Alliance, un groupe commercial américain d’éditeurs, qui veulent demander une rétribution aux entreprises qui exploitent leurs données.
Le risque de tourner en boucle
Mais la crainte encore plus grande est que la source du savoir se soit tarie. Jusqu’ici, les gens demandaient et obtenaient de l’aide en ligne, désormais ils le font derrière les portes fermées de ChatGPT. SimilarWeb affirme que le trafic sur Stack Overflow a déjà baissé de 14 % depuis janvier. On détruit aujourd’hui le futur terrain d’entraînement. D’autant que, depuis le 1er mars, OpenAI a mis à jour ses conditions d’utilisation pour répondre aux inquiétudes de ses utilisateurs : il n’utilisera plus les données client envoyées via ses API pour former ses modèles, se privant ainsi de données supplémentaires d’entraînement. Pis encore, au fur et à mesure que les textes produits par les LLM envahissent le Web, ils vont nourrir les modèles probabilistes derrière ces mêmes LLM et renforcer leurs résultats, les inscrivant dans une boucle infinie d’échanges autoréalisateurs, et validant au passage certaines erreurs ou hallucinations. Même dans l’hypothèse de moteurs concurrents, ceux-ci finiraient inévitablement par converger.
Sam Altman, le patron d’OpenAI, a lui-même affirmé que la course aux LLM toujours plus grands était déjà terminée, du fait de la pénurie de données linguistiques de qualité ainsi que du coût élevé de la puissance de calcul, enterrant l’idée d’un GPT-5. La course est plutôt à l’entraînement de modèles plus petits, capables de fonctionner sur un ordinateur sans devoir passer par le cloud, et avec des données personnelles afin de disposer d’un véritable assistant. De plus en plus d’acteurs pensent que de nouvelles approches, différentes de celle par LLM, seront nécessaires pour poursuivre le développement de l’intelligence artificielle.
L’idée que les modèles ont mangé leur pain blanc est d’ailleurs avancée par ceux qui estiment que les LLM ne pourront pas déborder en une intelligence artificielle générale. Geoffrey Hinton, l’un des pionniers de l’apprentissage profond, qui a quitté Google pour parler librement des dangers de l’intelligence artificielle, rétorque que les derniers LLM sont multimodaux, capables d’appréhender des images, des sons ou des vidéos au-delà du texte et vont avoir accès à la source infinie de contenus que nous chargeons sur les réseaux sociaux. Une nouvelle bataille en vue, car Facebook et Twitter interdisent la récupération de leurs données.
* Robin Rivaton est directeur général de Stonal et membre du conseil scientifique de la Fondation pour l’innovation politique (Fondapol).