Comment bien éduquer un transformer ?

Un transformer peut se comporter comme une personne mal éduquée Dans l’apprentissage profond (deep learning), une fois l’espace multidimensionnel créé avec toutes les représentations des tokens calculées, les neurones et les connexions entre couches de neurones établies par l’apprentissage initial, on a affaire à une boîte noire entre l’entrée et la sortie. Cela signifie que […]

Read more

Les données d’apprentissage : l’alpha et l’omega d’un transformer

Le problème des données d’apprentissage De l’épisode 1 on peut conclure qu’un agent conversationnel basé sur un grand modèle de langage ne raisonne pas. Il joue sur des similarités textuelles, traduites dans un espace vectoriel. La façon même de répondre, de pouvoir reproduire un style, dépend de ses données d’apprentissage. Peut-on dès lors réellement utiliser […]

Read more

top