ChatGPT et transformers : comment mettre plus d’intelligence dans la série ?

Close Encounters of the Third Kind, compte flickr MIKI Yoshihito, Licence CC BY 2.0

Après avoir bien joué avec les nouveaux agents conversationnels type ChatGPT (potentiellement moins avec Bard) si on expliquait le fonctionnement des modèles de langage derrière construits sur l’architecture Transformer (GPT-3, Bloom, LaMDA, Gopher, Chinchilla …) ? On pourrait d’ailleurs préciser pourquoi ces outils bluffants ne suffisent pas pour gérer des connaissances professionnelles. Ou quels sont […]

Read more

Les transformers et les aspirations des titans du Web

Vers les approches neurosymboliques L’étape suivant les modèles transformers semble de plus en plus s’orienter vers une combinaison d’IA symbolique et de réseaux neuronaux. Il s’agirait d’approches « neurosymboliques ». Dans ce contexte, il n’y a rien d’étonnant à ce que les géants du Web, tels que Google, Microsoft, FaceBook… développent depuis un moment leurs knowledge Graphs. […]

Read more

Comment bien éduquer un transformer ?

Un transformer peut se comporter comme une personne mal éduquée Dans l’apprentissage profond (deep learning), une fois l’espace multidimensionnel créé avec toutes les représentations des tokens calculées, les neurones et les connexions entre couches de neurones établies par l’apprentissage initial, on a affaire à une boîte noire entre l’entrée et la sortie. Cela signifie que […]

Read more

Les données d’apprentissage : l’alpha et l’omega d’un transformer

Le problème des données d’apprentissage De l’épisode 1 on peut conclure qu’un agent conversationnel basé sur un grand modèle de langage ne raisonne pas. Il joue sur des similarités textuelles, traduites dans un espace vectoriel. La façon même de répondre, de pouvoir reproduire un style, dépend de ses données d’apprentissage. Peut-on dès lors réellement utiliser […]

Read more

L’arrivée des transformers dans le monde de l’IA

ChatGPT utilise un modèle transformer : and so what ? ChatGPT est un agent conversationnel (ChatBot) qui utilise un modèle transformer GPT-3.5 (Generative Pre-trained Transformer) pour comprendre et répondre à des questions d’utilisateurs. Il reprend les principes d’InstructGPT et utilise un apprentissage par renforcement avec un feedback humain (RLHF) pour améliorer ses réponses. Soyons honnêtes […]

Read more

Comprendre les outils d’IA : un enjeu d’Intelligence Economique

L’IA, un marteau de guerre… économique ? Dans l’art de la guerre économique, l’IA fournit des armes numériques pour le triptyque : veille, influence, protection. Ces armes ont pour particularité d’être peu visibles et on ne les lie pas forcément à leurs résultats. Surtout quand il s’agit de « l’art du faire savoir, faire croire […]

Read more

top