20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle, Intelligence Economique, Processus de décision / 0 comments
Les transformers sont des outils bluffants. Mais ils ne suffisent pas pour gérer des connaissances professionnelles. Il y a des points d’attention à garder en mémoire. Que peut-on dire des défauts des Transformers en traitement automatique du langage? Peu capables de faire des raisonnements logiques, les grands modèles de langage transformers interprètent les mots et leurs connexions dans un espace vectoriel. Ils sont énergivores lors de leur apprentissage et ont une empreinte écologique désastreuse. Ils absorbent et répercutent les biais de leurs données d’apprentissage et des humains qui les corrigent. Pour finir, leur usage, aussi bien à titre personnel qu’en entreprise, pose des problèmes cruciaux de fiabilité, de propriété intellectuelle et de protection d‘information. Il ne s’agit pas de jeter le bébé avec l’eau du bain. Seulement d’éclairer, avec quelques articles, certains faits liés à leur entraînement, à leur usage et à leur maturité.
Read more
ChatGPT et transformers : comment mettre plus d’intelligence dans la série ?
20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle, Intelligence Economique, Processus de décision / 0 comments
Les transformers sont des outils bluffants. Mais ils ne suffisent pas pour gérer des connaissances professionnelles. Il y a des points d’attention à garder en mémoire. Que peut-on dire des défauts des Transformers en traitement automatique du langage? Peu capables de faire des raisonnements logiques, les grands modèles de langage transformers interprètent les mots et leurs connexions dans un espace vectoriel. Ils sont énergivores lors de leur apprentissage et ont une empreinte écologique désastreuse. Ils absorbent et répercutent les biais de leurs données d’apprentissage et des humains qui les corrigent. Pour finir, leur usage, aussi bien à titre personnel qu’en entreprise, pose des problèmes cruciaux de fiabilité, de propriété intellectuelle et de protection d‘information. Il ne s’agit pas de jeter le bébé avec l’eau du bain. Seulement d’éclairer, avec quelques articles, certains faits liés à leur entraînement, à leur usage et à leur maturité.
Read more
Les transformers et les aspirations des titans du Web
20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle / 1 comment
Les modèles transformers semble de plus en plus s’orienter vers une combinaison d’IA symbolique et de réseaux neuronaux. Il s’agirait d’approches « neurosymboliques ». Dans ce contexte, il n’y a rien d’étonnant à ce que les géants du Web, tels que Google, Microsoft, FaceBook… développent depuis un moment leurs knowledge Graphs. Ils ont poussé pour ce qu’un vocabulaire commun (schema.org) serve à annoter les pages Web (en RDFA ou JSON-LD) avec des métadonnées se référant à ce vocabulaire. On peut imaginer déjà le prochain mouvement.
Read more
Comment bien éduquer un transformer ?
20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle, Processus de décision / 0 comments
Un transformer peut se comporter comme une personne mal éduquée Dans l’apprentissage profond (deep learning), une fois l’espace multidimensionnel créé avec toutes les représentations des tokens calculées, les neurones et les connexions entre couches de neurones établies par l’apprentissage initial, on a affaire à une boîte noire entre l’entrée et la sortie. Cela signifie que le modèle ne peut pas expliquer comment il arrive à ses résultats. Le processus de prise de décision est caché. Mais il y a des probabilités que le système obtenu réplique des types de tournures ou de réactions typiques de son corpus d’entrée
Read more
Les données d’apprentissage : l’alpha et l’omega d’un transformer
20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle / 0 comments
un agent conversationnel basé sur un grand modèle de langage ne raisonne pas. Il joue sur des similarités textuelles, traduites dans un espace vectoriel. La façon même de répondre, de pouvoir reproduire un style, dépend de ses données d’apprentissage. Peut-on dès lors réellement utiliser le terme intelligence à son sujet ? En tous cas, ses capacités découlent de la nature des données sur lesquelles il a été entrainé.
Read more
L’arrivée des transformers dans le monde de l’IA
20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle, Processus de décision / 0 comments
ChatGPT utilise un modèle transformer : and so what ? ChatGPT est un agent conversationnel (ChatBot) qui utilise un modèle transformer GPT-3.5 (Generative Pre-trained Transformer) pour comprendre et répondre à des questions d’utilisateurs. Il reprend les principes d’InstructGPT et utilise un apprentissage par renforcement avec un feedback humain (RLHF) pour améliorer ses réponses. Soyons honnêtes : ces deux phrases n’apprennent rien à personne. Ceux qui travaillent dans le domaine le savent déjà. Quant aux autres, cela ne clarifie rien. Car le premier point d’interrogation demeure : qu’est-ce qu’un modèle Transformer ?
Read more
Comprendre les outils d’IA : un enjeu d’Intelligence Economique
2 février 2023 / by Sabine Bohnké / Intelligence Artificielle, Intelligence Economique / 0 comments
L’IA, un marteau de guerre… économique ? Dans l’art de la guerre économique, l’IA fournit des armes numériques pour le triptyque : veille, influence, protection. Ces armes ont pour particularité d’être peu visibles et on ne les lie pas forcément à leurs résultats. Surtout quand il s’agit de « l’art du faire savoir, faire croire et du faire faire ». La subtilité nécessairement liée à l’art de l’influence de l’IE est opposée à la visibilité des influenceurs des réseaux sociaux. Ce qui peut constituer une difficulté à déterminer la complicité par instigation, si l’influence pousse jusqu’au délit.
Read more