La capacit\u00e9 \u00e0 combiner les langues au sein d’un m\u00eame dialogue offre des perspectives tout \u00e0 fait originales: il est possible de demander \u00e0 un mod\u00e8le de langage de jouer le r\u00f4le de professeur de langues, et vous pouvez laisser parler votre cr\u00e9ativit\u00e9….regardez plut\u00f4t ceci :<\/p>\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2023\/06\/poeme-multilingue.png?w=1024\")
Pour rem\u00e9dier \u00e0 l’asym\u00e9trie des comp\u00e9tences linguistiques, certains Grands Mod\u00e8les de Langage comme Bloom visent \u00e0 une repr\u00e9sentation plus \u00e9galitaire entre les langages d’entra\u00eenement. Si vous int\u00e9ress\u00e9s, je vous invite \u00e0 en lire plus sur cet int\u00e9ressant projet ici<\/a>. <\/p>\n\n\n\n Enfin, les Mod\u00e8les de Langage sont \u00e9galement entra\u00een\u00e9s sur diff\u00e9rents langages de programmation, qu’ils \u00ab\u00a0parlent\u00a0\u00bb donc avec une \u00e9loquence variable. C’est un sujet passionnant, au potentiel applicatif \u00e9norme, sur lequel je reviendrai ult\u00e9rieurement.<\/p>\n\n\n\n Contrairement \u00e0 ce que vous pourriez croire, les Mod\u00e8les de Langage sont amn\u00e9siques. Apr\u00e8s chaque r\u00e9ponse, ils oublient tout! Mais direz-vous, ceci n’est pas possible, puisqu’ ils sont capables de soutenir un dialogue…<\/p>\n\n\n\n Eh bien en fait il y a un truc : a chaque fois que vous posez une question au mod\u00e8le, le programme r\u00e9injecte au mod\u00e8le la totalit\u00e9 du dialogue depuis le d\u00e9but, avec les questions-r\u00e9ponses pr\u00e9c\u00e9dentes, et ce jusqu’\u00e0 la derni\u00e8re question. <\/p>\n\n\n\n Peu importe, direz-vous, c’est un d\u00e9tail invisible pour l’utilisateur. Eh bien pas tout \u00e0 fait, cela joue un r\u00f4le important \u00e0 cause de la limitation de taille des fen\u00eatres de contexte.<\/p>\n\n\n\n Tous les mod\u00e8les de langage actuels fonctionnent avec une fen\u00eatre de contexte limit\u00e9e, c’ est une contrainte de leur architecture technique. Cela veut dire que la totalit\u00e9 du texte qui est analys\u00e9 par le mod\u00e8le, \u00e0 la fois dans la question (qui reprend les questions-r\u00e9ponses pass\u00e9es) et dans la r\u00e9ponse qui va \u00eatre g\u00e9n\u00e9r\u00e9e<\/em>, ne peut d\u00e9passer la taille de la fen\u00eatre de contexte sous peine de r\u00e9sultats fantaisistes.<\/p>\n\n\n\n Et ces fen\u00eates de contexte ne sont pas \u00e9normes. 4096 tokens <\/em>pour chatGPT v3.5, 8192 tokens<\/em> pour chatGPT4. Ces tailles excluent l’analyse d’un livre ou d’un long article. Elles signifient aussi que vous devez viser une certaine efficacit\u00e9 dans vos dialogues avec le syst\u00e8me (le prompt engineering <\/em>– sujet pour un article futur), et qu’il vaut mieux entamer un nouveau dialogue si vous d\u00e9cidez de changer de sujet en cours de conversation.<\/p>\n\n\n\n C’est un peu regrettable, mais les interfaces utilisateurs web disponibles (chatGPT, Bing) n’affichent pas le nombre de tokens soumis et g\u00e9n\u00e9r\u00e9s, ce qui signifie que vous naviguez en aveugle sur ce point. <\/p>\n\n\n\n Mais que sont donc ces tokens<\/em> (jetons en anglais) ? Il s’agit de groupes de lettres qui ressemblent \u00e0 des syllabes. Vous pouvez jouer ici<\/a> avec le g\u00e9n\u00e9rateur de tokens d’OpenAI : tapez un texte et il vous montrera la d\u00e9coupe de votre texte en tokens multicolores, comme ceci :<\/p>\n\n\n Il y a 50.257 tokens possibles au total, et c’est en r\u00e9alit\u00e9 l’identifiant du token qui est pass\u00e9 au g\u00e9n\u00e9rateur, soit un nombre entier. Le mod\u00e8le de langage se base sur la suite des nombre entiers correspondants aux tokens pr\u00e9c\u00e9dents pour pr\u00e9dire le l’identifiant du prochain token. Un g\u00e9n\u00e9rateur de langage effectue en r\u00e9alit\u00e9 une op\u00e9ration purement math\u00e9matique : il prolonge une suite donn\u00e9e de nombre entiers. C’est tout de suite moins romantique…<\/p>\n\n\n Tokens et multilinguisme<\/em><\/p>\n\n\n\n Les tokens ont \u00e9t\u00e9 choisis pour avoir une efficacit\u00e9 maximale en Anglais; selon OpenAI il faut en moyenne 100 tokens pour encoder 75 mots. Les autres langues utilisant l’alphabet latin (comme le Fran\u00e7ais) seront encod\u00e9es de mani\u00e8re encore assez efficace, quoique moindre que l’ Anglais. Par contre, l’encodage est peu efficace pour les langues utilisant un autre alphabet.<\/p>\n\n\n\n Je me suis amus\u00e9 \u00e0 extraire le texte du pr\u00e9ambule de la D\u00e9claration Universelle des Droits de l’Homme – qui est le texte le plus traduit au monde et accessible ici<\/a> – dans 16 langues diff\u00e9rentes pour voir l’efficacit\u00e9 du tokenizer sur ce texte. Voici les r\u00e9sultats :<\/p>\n\n\n On voit bien que le nombre de tokens n\u00e9cessaire par mot est minimal pour l’ Anglais (1,17 token\/mot), suivi par les autres langues utilisant l’alphabet latin (2 \u00e0 3 tokens\/mot), jusqu’\u00e0 l’ Indon\u00e9sien. Ensuite viennent les langues utilisant d’autres alphabets (Arabe, Grec, Cyrillique) pour terminer par les langages asiatiques. Pour ces derni\u00e8res, il vaut mieux se baser sur le nombre d’ id\u00e9ogrammes on voit qu’il faut environ 2 tokens pour encoder un id\u00e9ogramme. <\/p>\n\n\n\n Diff\u00e9rents encodeurs de tokens existent. La description ci-dessus utilise le g\u00e9n\u00e9rateur de tokens d’OpenAI mais les autres tokenizers<\/em> ont des caract\u00e9ristiques similaires.<\/p>\n\n\n\n Depuis l’ apparition des mod\u00e8les g\u00e9n\u00e9rationnels grand public, un certain nombre d’acteurs utilisent ces derniers pour g\u00e9n\u00e9rer du contenu sans n\u00e9cessairement le d\u00e9clarer, ce qui peut poser des probl\u00e8mes de v\u00e9racit\u00e9 de contenu, de paternit\u00e9 ou de droits d’auteur. Pensez aux dissertations r\u00e9dig\u00e9es par ChatGPT pour vous faire une id\u00e9e du probl\u00e8me…<\/p>\n\n\n\n Et comme il est en principe nettement plus facile d’auto-g\u00e9n\u00e9rer du texte que de le r\u00e9diger \u00e0 la main, ces manipulations se pr\u00eatent \u00e0 des actions \u00e0 grande \u00e9chelle, visant par exemple \u00e0 donner une visibilit\u00e9 artificielle \u00e0 une marque ou \u00e0 une information (vraie ou fausse). Dans un monde o\u00f9 la d\u00e9sinformation est r\u00e9pandue, il y a manifestement un potentiel d’utilisation nuisible des mod\u00e8les.<\/p>\n\n\n\n Un autre probl\u00e8me est que, les mod\u00e8les de langage \u00e9tant eux-m\u00eame entra\u00een\u00e9s sur des bases de donn\u00e9e extraites d’Internet, on court le risque d’aboutir \u00e0 un cercle vicieux dans lequel du contenu auto-g\u00e9n\u00e9r\u00e9 sert \u00e0 entra\u00eener la g\u00e9n\u00e9ration suivantes de mod\u00e8les de langage qui se d\u00e9connectent progressivement de la r\u00e9alit\u00e9 humaine… <\/p>\n\n\n\n Tout ceci r\u00e9clame une capacit\u00e9 \u00e0 d\u00e9tecter automatiquement si un texte a \u00e9t\u00e9 r\u00e9dig\u00e9 par un mod\u00e8le de langage ou non. Et les premiers outils permettant de le faire sont disponibles, mais ils sont encore de nature exp\u00e9rimentale et les recherches pour am\u00e9liorer ces d\u00e9tecteurs vont bon train. Un raffinement possible est de modifier le g\u00e9n\u00e9rateur lui-m\u00eame pour qu’il modifie sont algorithme de g\u00e9n\u00e9ration de texte mot \u00e0 mot pour rendre ce dernier plus ais\u00e9ment identifiable par la suite.<\/p>\n\n\n\n Vous pouvez essayer le d\u00e9tecteur fourni par OpenAI ici<\/a> mais ses limitations sont clairement expos\u00e9es, et il n’est pas d’une grande fiabilit\u00e9. C’est une technique potentiellement promise \u00e0 un grand avenir mais encore en phase d’\u00e9mergence et il sera int\u00e9ressant de suivre \u00e0 la fois ses progr\u00e8s techniques futurs et son exploitation dans le cadre du futur cadre r\u00e9glementaire qui ne manquera pas d’appara\u00eetre.<\/p>\n\n\n\n Les mod\u00e8les conversationnels disponibles au grand public comme ChatGPT, Bing Chat, Google Bard… sont tous ex\u00e9cut\u00e9s dans le cloud. La raison en est que les besoins en puissance de calcul et en m\u00e9moire pour l’ex\u00e9cution d\u00e9passent de loin les capacit\u00e9s des ordinateurs personnels ou des smartphones. L’ ex\u00e9cution se fait donc sur des serveurs surpuissants situ\u00e9s dans des datacenters.<\/p>\n\n\n\n Mais cela veut aussi dire que ces derniers constituent un s\u00e9rieux goulet d’\u00e9tranglement. Que ce soit \u00e0 cause d’une demande trop forte ou d’une perte de connectivit\u00e9, vous restez tributaire \u00e0 tout instant de la sant\u00e9 de l’ infrastructure du fournisseur et de la connectivit\u00e9 qui vous y lie. Pas moyen de travailler de mani\u00e8re autonome.<\/p>\n\n\n\n C’est pourquoi de nombreuses recherches actuelles ont pour but de rendre des mod\u00e8les moins gourmands pour leur permettre de fonctionner de mani\u00e8re autonome sur un ordinateur de bureau. L’utilisateur averti pourra installer l’application faraday.dev<\/a>, qui permet de t\u00e9l\u00e9charger certains mod\u00e8les et de les faire tourner localement. Attention, il vaut mieux poss\u00e9der une machine puissante…<\/p>\n\n\n\n <\/p>\n","protected":false},"excerpt":{"rendered":" Dans cet article, d\u00e9couvrez des informations cl\u00e9s sur les mod\u00e8les de langage conversationnels. Ils sont multilingues et fonctionnent avec des fen\u00eatres de contexte limit\u00e9es. De plus, les d\u00e9fis li\u00e9s \u00e0 la d\u00e9tection de texte g\u00e9n\u00e9r\u00e9 et les avantages des mod\u00e8les locaux.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[12],"tags":[],"class_list":["post-252","post","type-post","status-publish","format-standard","hentry","category-modeles-de-langage","post-preview"],"_links":{"self":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/252","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/comments?post=252"}],"version-history":[{"count":0,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/252\/revisions"}],"wp:attachment":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/media?parent=252"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/categories?post=252"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/tags?post=252"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}2. Fen\u00eatre de contexte et tokens<\/em><\/h2>\n\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2023\/06\/image-8.png?w=1024\")
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2023\/06\/image-15.png?w=1024\")
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2023\/06\/image-16.png?w=976\")
3. D\u00e9tecteurs de texte g\u00e9n\u00e9r\u00e9 par un mod\u00e8le<\/h2>\n\n\n\n
4. Mod\u00e8les de langage locaux ou dans le cloud<\/h2>\n\n\n\n