{"id":1001,"date":"2023-12-03T17:09:37","date_gmt":"2023-12-03T16:09:37","guid":{"rendered":"https:\/\/artificiellementintelligent.wordpress.com\/?p=1001"},"modified":"2023-12-03T17:09:37","modified_gmt":"2023-12-03T16:09:37","slug":"les-modeles-de-langage-open-source","status":"publish","type":"post","link":"https:\/\/artificiellementintelligent.eu\/index.php\/2023\/12\/03\/les-modeles-de-langage-open-source\/","title":{"rendered":"Les mod\u00e8les de langage open-source"},"content":{"rendered":"\n

Les mod\u00e8les de langage sont des syst\u00e8mes d’ intelligence artificielle qui utilisent des volumes massifs de donn\u00e9es textuelles collect\u00e9s sur internet pour g\u00e9n\u00e9rer du texte, faire des traductions, interagir avec l’ utilisateur ou encore g\u00e9n\u00e9rer toutes sortes de contenus originaux.<\/p>\n\n\n\n

Ces mod\u00e8les peuvent \u00eatre class\u00e9s en deux grandes cat\u00e9gories, les mod\u00e8les propri\u00e9taires<\/em> et les mod\u00e8les open-source<\/em>. Cette distinction va avoir d’ importantes cons\u00e9quences sur les possibiit\u00e9s d’ utilisation du mod\u00e8le.<\/p>\n\n\n\n

Les mod\u00e8les dont j’ ai principalement parl\u00e9 jusqu’ici –ChatGPT, Bard, Bing, Claude<\/em>…- sont des mod\u00e8les propri\u00e9taires : ils sont la propri\u00e9t\u00e9 d’ une firme et peuvent uniquement \u00eatre exploit\u00e9s selon les conditions d\u00e9crites dans la licence d’exploitation. Cette license peut ou non \u00eatre payante. Et \u00e0 ce jour aucun des mod\u00e8les propri\u00e9taires n’ est exploitable localement : vous devez utiliser une interface (web ou logicielle) pour interroger le mod\u00e8le \u00e0 distance.<\/p>\n\n\n\n

L’ approche open-source<\/em> est diff\u00e9rente. Elle met \u00e0 disposition du public l’ ensemble du mod\u00e8le. L’ utilisateur peut donc l’ exploiter, le modifier et l’ am\u00e9liorer \u00e0 sa guise. Comme le concept de l’ open-source est tr\u00e8s r\u00e9pandu dans le mode de l’ informatique et bien ant\u00e9rieur aux mod\u00e8les de langage, j’ ai pens\u00e9 qu’ il serait int\u00e9ressant de commencer par en dire un peu plus \u00e0 ce sujet.<\/p>\n\n\n\n

1. Qu’est-ce que l’ open-source <\/em>?<\/h2>\n\n\n\n

Les d\u00e9buts du mouvement open-source sont intimement li\u00e9s au syst\u00e8me d’ exploitation UNIX. Les d\u00e9veloppeurs originaux du syst\u00e8me UNIX dans les ann\u00e9es 1970 avaient pour habitude de partager les codes source. Lorsque certaines firmes ont d\u00e9cid\u00e9 de commercialiser le code sous forme propri\u00e9taire pendant les ann\u00e9es 1980, un mouvement de dissidence est n\u00e9 pour cr\u00e9er une version \u00ab\u00a0ouverte\u00a0\u00bb du syst\u00e8me d’ exploitation. Une fois l’ approche formalis\u00e9e, le mouvement open-source s’ est progressivement \u00e9tendu et a prosp\u00e9r\u00e9 jusqu’ \u00e0 aujourd’ hui. On lui doit notamment le syst\u00e8me d’ exploitation Linux et bien d’ autres logiciels et outils bien connus comme le langage Python.<\/p>\n\n\n\n

Le mouvement open-source a donc \u00e9t\u00e9 initi\u00e9 par des programmeurs qui rejetaient le mod\u00e8le ferm\u00e9 et centralis\u00e9 du d\u00e9veloppement de logiciels propri\u00e9taires. Dans ces derniers, seul le code ex\u00e9cutable est publi\u00e9, alors que le code source est tenu secret afin d’ \u00e9viter la concurrence.<\/p>\n\n\n\n

Le mouvement open-source rejette cette pratique : la totalit\u00e9 du code source est publi\u00e9 sous une licence qui permet la libre distribution, l’exploitation (commerciale ou non) et la modification du code. En contrepartie, l’ utilisateur s’ engage essentiellement sur deux points : ne pas tenter de s’ approprier le code mis \u00e0 disposition et accepter ce dernier \u00ab\u00a0en l’\u00e9tat\u00a0\u00bb sans garantie ou recours en cas de dysfonctionnement. Certaines licenses open-source sont plus restrictives et obligent \u00e9galement l’utilisateur \u00e0 publier tout programme d\u00e9riv\u00e9 \u00e9galement sous license open-source; on parle alors de licence r\u00e9ciproque ou copyleft<\/em>.<\/p>\n\n\n\n

Revenons maintenant aux mod\u00e8les de langage…<\/p>\n\n\n\n

2. Situation des mod\u00e8les de langage open-source<\/h2>\n\n\n\n

Les premiers mod\u00e8les de langage open-source \u00e9taient consid\u00e9r\u00e9s comme nettement inf\u00e9rieurs aux mod\u00e8les propri\u00e9taires. La situation a chang\u00e9 cette ann\u00e9e, notamment suite aux activit\u00e9s de Meta<\/em> qui a successivement publi\u00e9 les mod\u00e8les LlaMA<\/em> et LlaMA 2<\/em>.<\/p>\n\n\n\n

Les circonstances de la publication de LlaMA<\/em> en f\u00e9vrier 2023 sont assez cocasses. Meta a initialement publi\u00e9 le code du mod\u00e8le en open-source, mais pas<\/em> les param\u00e8tres du mod\u00e8le -sans lesquels ce dernier est inutilisable-. Les param\u00e8tres \u00e9taient uniquement fournis \u00e0 des fins de recherche au cas par cas, sans possibilit\u00e9 d’ exploitation commerciale. Il n’ a pas fallu plus d’ une semaine pour que ces param\u00e8tres fuitent et se retrouvent disponibles au public par t\u00e9l\u00e9chargement…<\/p>\n\n\n\n

Cette fuite a donn\u00e9 un coup d’acc\u00e9l\u00e9rateur au d\u00e9veloppement de mod\u00e8les de langage open-source : des mod\u00e8les d\u00e9riv\u00e9s de LlaMA par affinage comme Vicuna<\/em> et Alpaca<\/em> ont \u00e9t\u00e9 publi\u00e9s quelques semaines plus tard, ainsi que la librairie GPT4ALL<\/em> qui permet de faire facilement fonctionner ces mod\u00e8les sur un ordinateur personnel. Cependant la l\u00e9galit\u00e9 de ces mod\u00e8les d\u00e9riv\u00e9s, reposant sur une fuite, \u00e9tait floue et ne permettait en pratique que la recherche \u00e0 l’ exclusion de toute exploitation commerciale.<\/p>\n\n\n\n

Meta n’ a pas voulu r\u00e9it\u00e9rer l’ exp\u00e9rience : le mod\u00e8le suivant LlaMA 2<\/em> , publi\u00e9 en juillet 2023, est disponible sous une licence open-source et permet donc l’ exploitation commerciale par des tiers.<\/p>\n\n\n\n

Et entretemps, d’ autres mod\u00e8les open-source exploitables commercialement ont \u00e9t\u00e9 d\u00e9velopp\u00e9s comme MPT<\/em> de MosaicML, Falcon<\/em> ou encore Mistral<\/em>, et de nouveaux mod\u00e8les sont r\u00e9guli\u00e8rement publi\u00e9s. La figure 1 montre une tentative de taxonomie des diff\u00e9rents mod\u00e8les. Les mod\u00e8les open-source sont repris sur fond gris\u00e9.<\/p>\n\n\n

\n
\"\"
Figure 1 : Taxonomie des mod\u00e8les de langage (Auteur : Jinfeng Yang & al)<\/figcaption><\/figure>\n<\/div>\n\n\n

Un b\u00e9mol cependant : certains mod\u00e8les comme LlaMA 2 ou Falcon ne sont pas totalement open-source et leur exploitation commerciale n’ est possible que moyennant certaines limitations. Ces limitations -peu contraignantes en pratique- sont g\u00e9n\u00e9ralement de nature \u00e0 emp\u00eacher la concurrence avec le d\u00e9veloppeur ou visent \u00e0 interdire les utilisations ill\u00e9gales ou dangereuses. Par exemple, LlaMA 2 ne peut pas \u00eatre exploit\u00e9 par les entreprises comptant plus de 700 millions d’utilisateurs (!) ni pour am\u00e9liorer un autre mod\u00e8le de langage. Comme toujours, v\u00e9rifiez les termes pr\u00e9cis de la licence avec un juriste avant, pour ne pas avoir d’ ennuis apr\u00e8s.<\/p>\n\n\n\n

Les mod\u00e8les open-source sont maintenant tr\u00e8s performants et les meilleurs d’entre eux se classent juste en-dessous des meilleurs mod\u00e8les propri\u00e9taires, comme vous pouvez le voir sur Chatbot arena<\/a>.<\/p>\n\n\n\n

Il est fort possible que les mod\u00e8les open-source comblent l’ \u00e9cart avec les mod\u00e8les propri\u00e9taires au cours des 12 \u00e0 18 prochains mois: Meta travaille sur Llama 3 qui devrait \u00eatre multimodal et a d\u00e9clar\u00e9 qu’ il sera publi\u00e9 en open-source, tandis que l’affinage permet de cr\u00e9er des mod\u00e8les sp\u00e9cialis\u00e9s qui peuvent rivaliser avec un mod\u00e8le propri\u00e9taire g\u00e9n\u00e9raliste dans un domaine particulier tout en \u00e9tant moins gourmands en puissance de calcul.<\/p>\n\n\n\n

3. Avantages<\/h2>\n\n\n\n

Les avantages des mod\u00e8les open-source<\/em> pour l’utilisateur sont de trois ordres :<\/p>\n\n\n\n