ChatGPT et transformers : comment mettre plus d’intelligence dans la série ?
Close Encounters of the Third Kind, compte flickr MIKI Yoshihito, Licence CC BY 2.0
Après avoir bien joué avec les nouveaux agents conversationnels type ChatGPT (potentiellement moins avec Bard) si on expliquait le fonctionnement des modèles de langage derrière construits sur l’architecture Transformer (GPT-3, Bloom, LaMDA, Gopher, Chinchilla …) ?
On pourrait d’ailleurs préciser pourquoi ces outils bluffants ne suffisent pas pour gérer des connaissances professionnelles. Ou quels sont les points d’attention à garder en mémoire. Il ne s’agit pas de jeter le bébé avec l’eau du bain. Seulement d’éclairer, avec quelques articles, certains faits liés à leur entraînement, à leur usage et à leur maturité.
En effet, les annonces régulières de nouveautés de la part des Big Tech, la concurrence de Microsoft et Google sur fond de guerre des moteurs de recherches, masquent les problèmes de fond. Ceux-ci risquent toutefois de revenir à la surface, à un moment ou à un autre. C’est ce qui peut arriver quand on utilise des outils qui ont certains défauts inhérents à leur conception. Ce qui néanmoins n’enlève rien à leur intérêt et à celui de suivre leur évolution.
Que peut-on dire des défauts des Transformers en traitement automatique du langage?
Peu capables de faire des raisonnements logiques, les grands modèles de langage transformers interprètent les mots et leurs connexions dans un espace vectoriel. Ils sont énergivores lors de leur apprentissage et ont une empreinte écologique désastreuse. Ils absorbent et répercutent les biais de leurs données d’apprentissage et des humains qui les corrigent. Pour finir, leur usage, aussi bien à titre personnel qu’en entreprise, pose des problèmes cruciaux de fiabilité, de propriété intellectuelle et de protection d‘information.
En déployant à grandes échelles des outils en ignorant leurs limites, on risque aussi de déployer leurs défauts à grande échelle. Ce serait dommage. Car l’histoire des transformers ne fait que commencer, et ils peuvent nous assister dans beaucoup de fonctions utiles. On peut être enthousiaste sur l’évolution constatée. Toutefois, nous préparons les déceptions de demain en les imaginant déjà plus puissants, ou plus fiables, qu’aujourd’hui. La série d’articles ci-dessous revient sur quelques épisodes marquants de cette série des transformers, pour clarifier ce qu’ils peuvent faire (ou pas) et pourquoi.
