20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle, Intelligence Economique, Processus de décision / 0 comments
Les transformers sont des outils bluffants. Mais ils ne suffisent pas pour gérer des connaissances professionnelles. Il y a des points d’attention à garder en mémoire. Que peut-on dire des défauts des Transformers en traitement automatique du langage? Peu capables de faire des raisonnements logiques, les grands modèles de langage transformers interprètent les mots et leurs connexions dans un espace vectoriel. Ils sont énergivores lors de leur apprentissage et ont une empreinte écologique désastreuse. Ils absorbent et répercutent les biais de leurs données d’apprentissage et des humains qui les corrigent. Pour finir, leur usage, aussi bien à titre personnel qu’en entreprise, pose des problèmes cruciaux de fiabilité, de propriété intellectuelle et de protection d‘information. Il ne s’agit pas de jeter le bébé avec l’eau du bain. Seulement d’éclairer, avec quelques articles, certains faits liés à leur entraînement, à leur usage et à leur maturité.
Read more
ChatGPT et transformers : comment mettre plus d’intelligence dans la série ?
20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle, Intelligence Economique, Processus de décision / 0 comments
Les transformers sont des outils bluffants. Mais ils ne suffisent pas pour gérer des connaissances professionnelles. Il y a des points d’attention à garder en mémoire. Que peut-on dire des défauts des Transformers en traitement automatique du langage? Peu capables de faire des raisonnements logiques, les grands modèles de langage transformers interprètent les mots et leurs connexions dans un espace vectoriel. Ils sont énergivores lors de leur apprentissage et ont une empreinte écologique désastreuse. Ils absorbent et répercutent les biais de leurs données d’apprentissage et des humains qui les corrigent. Pour finir, leur usage, aussi bien à titre personnel qu’en entreprise, pose des problèmes cruciaux de fiabilité, de propriété intellectuelle et de protection d‘information. Il ne s’agit pas de jeter le bébé avec l’eau du bain. Seulement d’éclairer, avec quelques articles, certains faits liés à leur entraînement, à leur usage et à leur maturité.
Read more
Comment bien éduquer un transformer ?
20 février 2023 / by Sabine Bohnké / ingénierie des connaissances, Intelligence Artificielle, Processus de décision / 0 comments
Un transformer peut se comporter comme une personne mal éduquée Dans l’apprentissage profond (deep learning), une fois l’espace multidimensionnel créé avec toutes les représentations des tokens calculées, les neurones et les connexions entre couches de neurones établies par l’apprentissage initial, on a affaire à une boîte noire entre l’entrée et la sortie. Cela signifie que le modèle ne peut pas expliquer comment il arrive à ses résultats. Le processus de prise de décision est caché. Mais il y a des probabilités que le système obtenu réplique des types de tournures ou de réactions typiques de son corpus d’entrée
Read more