ChatGPT et transformers : comment mettre plus d’intelligence dans la série ?

Close Encounters of the Third Kind, compte flickr MIKI Yoshihito, Licence CC BY 2.0

Après avoir bien joué avec les nouveaux agents conversationnels type ChatGPT (potentiellement moins avec Bard) si on expliquait le fonctionnement des modèles de langage derrière construits sur l’architecture Transformer (GPT-3, Bloom, LaMDA, Gopher, Chinchilla …) ? On pourrait d’ailleurs préciser pourquoi ces outils bluffants ne suffisent pas pour gérer des connaissances professionnelles. Ou quels sont […]

Read more

Comment bien éduquer un transformer ?

Un transformer peut se comporter comme une personne mal éduquée Dans l’apprentissage profond (deep learning), une fois l’espace multidimensionnel créé avec toutes les représentations des tokens calculées, les neurones et les connexions entre couches de neurones établies par l’apprentissage initial, on a affaire à une boîte noire entre l’entrée et la sortie. Cela signifie que […]

Read more

top