J’ ai d\u00e9j\u00e0 publi\u00e9 une analyse g\u00e9n\u00e9rale des avantages et inconv\u00e9nients des mod\u00e8les open-source ici<\/a>, ainsi qu’une pr\u00e9sentation de la start-up fran\u00e7aise Mistral<\/em> (ici<\/a>). Cet article pr\u00e9sente les choses d’ un point de vue plus pratique : quels sont les \u00e9lements \u00e0 prendre en compte lors du choix et de l’ installation d’ un mod\u00e8le local, et comment l’ exploiter ensuite.<\/p>\n\n\n\n La premi\u00e8re question est de d\u00e9terminer les cas d’ utilisation de mod\u00e8les g\u00e9n\u00e9ratifs qui sont pertinents pour vous. Vous pourrez alors vous orienter vers un mod\u00e8le r\u00e9pondant \u00e0 vos besoins. Pour cela, vous pourrez vous baser sur diff\u00e9rents indicateurs de performance qui sont publi\u00e9s r\u00e9guli\u00e8rement pour tous les mod\u00e8les disponibles.<\/p>\n\n\n\n Vous trouverez ici<\/a> un tableau de bord reprenant une s\u00e9rie repr\u00e9sentative d’indicateurs de performance. Ce tableau de bord est remis \u00e0 jour tr\u00e8s r\u00e9guli\u00e8rement. Etudions-le un peu plus en d\u00e9tail.<\/p>\n\n\n Voyons tout d’ abord comment interpr\u00e9ter les diff\u00e9rents indicateurs de performance mentionn\u00e9s:<\/p>\n\n\n\n Et si la programmation est votre cas d’ utilisation principal, il existe un indicateur sp\u00e9cialis\u00e9 HumanEval<\/em> qui \u00e9value l’ aptitude \u00e0 la programmation \u00e0 travers 164 tests. Vous pouvez acc\u00e9der \u00e0 un tableau de bord pour HumanEval ici<\/a> :<\/p>\n\n\n En r\u00e8gle g\u00e9n\u00e9rale, au plus le mod\u00e8le compte de param\u00e8tres, au plus les r\u00e9ponses du mod\u00e8le seront riches et pr\u00e9cises, mais au plus de ressources son exploitation n\u00e9cessitera. Beaucoup de mod\u00e8les \u00e9tant disponibles en plusieurs tailles, c’est un param\u00e8tre sur lequel vous pouvez jouer dans une seconde \u00e9tape si vous vous rendez compte que le mod\u00e8le est trop impr\u00e9cis ou trop gourmand en ressources. Il faudra tenir compte de certaines contraintes: la m\u00e9moire de votre machine limitera la taille des mod\u00e8les qui pourront fonctionner dessus, alors que la performance d\u00e9pendra surtout du ou des processeurs disponibles (CPU ou GPU).<\/p>\n\n\n\n Autre point : certains mod\u00e8les ont \u00e9t\u00e9 affin\u00e9s<\/em> pour exceller dans un domaine particulier (la cr\u00e9ation artistique, la programmation, le domaine m\u00e9dical…). Si vous pouvez mettre la main sur un mod\u00e8le affin\u00e9 dans le domaine qui vous int\u00e9resse, utilisez-le en priorit\u00e9 car il a toutes les changes de pr\u00e9senter une meilleure efficacit\u00e9 relative qu’ un mod\u00e8le g\u00e9n\u00e9raliste de m\u00eame taille. Par exemple, si c’ est la programmation qui vous int\u00e9resse, orientez-vers WizardCoder<\/em>, Magicoder<\/em> ou CodeLlama<\/em>…<\/p>\n\n\n\n Vous pouvez aussi affiner vous-m\u00eame un mod\u00e8le open-source g\u00e9n\u00e9raliste pour le faire approcher au plus pr\u00e8s de votre cas d’ utilisation. C’est une approche plus complexe, dont je parlerai dans un article futur.<\/p>\n\n\n\n Enfin, pensez toujours \u00e0 v\u00e9rifier les conditions de licence pour voir si cette derni\u00e8re est compatible avec l’ utilisation que vous envisagez. Les mod\u00e8les de langage sont souvent publi\u00e9s sous des licences open-source modifi\u00e9es contenant certaines restrictions d’ utilisation…<\/p>\n\n\n\n L’ heure est maintenant venue d’ installer un moteur d’ exploitation sur votre ordinateur. En voici trois, tous gratuits :<\/p>\n\n\n\n Vous trouverez quelques bonnes vid\u00e9os explicatives des m\u00e9canismes d’ installation et d’ utilisation de ces programmes dans la partie \u00ab\u00a0R\u00e9f\u00e9rences\u00a0\u00bb ci-dessous. Ces programmes contiennent une fonctionnalit\u00e9 int\u00e9gr\u00e9e de recherche et d’ installation des mod\u00e8les. Le t\u00e9l\u00e9chargement manuel du mod\u00e8le depuis un site comme HuggingFace<\/em> n’ est donc en g\u00e9n\u00e9ral pas n\u00e9cessaire.<\/p>\n\n\n\n Prenons l’ exemple de Ollama<\/em> qui est extr\u00eamement facile \u00e0 utiliser. Une fois l’ application install\u00e9e sur votre machine, vous pouvez aller voir la liste des mod\u00e8les disponibles ici<\/a> :<\/p>\n\n\n Il suffit ensuite de demander le lancement d’ un mod\u00e8le via la commande Difficile de faire plus simple…<\/p>\n\n\n\n Premier cas d’ utilisation, le plus \u00e9vident : la conversation avec le mod\u00e8le. Les applications d\u00e9crites au point pr\u00e9c\u00e9dent offrent cette fonctionnalit\u00e9 sans besoin d’ installations suppl\u00e9mentaires.<\/p>\n\n\n\n Le second cas d’ utilisation que je voudrais pr\u00e9senter est l’ assistant de programmation int\u00e9gr\u00e9 dans un environnement de d\u00e9veloppement (IDE). Je vais prendre comme example un des environnements les plus r\u00e9pandus: Microsoft VSCode<\/em>.<\/p>\n\n\n\n Il existe des extensions pour VSCode comme Continue<\/a> et Cody<\/a> qui fournissent une fonction d’ assistance en interagissant avec un mod\u00e8le de langage. Pour interagir avec un mod\u00e8le cloud, il faudra configurer le mod\u00e8le d\u00e9sir\u00e9 et la cl\u00e9 d’acc\u00e8s. Pour un mod\u00e8le local, il suffit de sp\u00e9cifier l’ application (Ollama ou autre) et le mod\u00e8le \u00e0 utiliser. C’est tout.<\/p>\n\n\n\n Par exemple, voici Continue<\/em> utilisant le mod\u00e8le Mistral7B<\/em> via Ollama sur mon iMac :<\/p>\n\n\n Enfin, troisi\u00e8me cas d’utilisation, l’ acc\u00e8s direct aux mod\u00e8les locaux via un programme informatique. Ici aussi, c’ est facile : la pr\u00e9sence d’ interfaces de programmation sur les applications les rend facilement int\u00e9grables dans des processus informatis\u00e9s internes. Par exemple, Ollama offre un point d’entr\u00e9e REST accessible sur le port 11434 dont la documentation est accessible ici<\/a>. Et depuis peu, une librairie ollama-python<\/a> est disponible ce qui simplifie encore plus les choses.<\/p>\n\n\n\n Avec les applications actuelles, l’ utilisation de mod\u00e8les locaux est devenue tr\u00e8s ais\u00e9e. Les progr\u00e8s rapides des mod\u00e8les open-source<\/em> en font une option tr\u00e8s int\u00e9ressante qui r\u00e9sout un certain nombre de d\u00e9savantages des mod\u00e8les propri\u00e9taires dans le cloud. Ces mod\u00e8les n’ atteignent pas encore les performances des meilleurs mod\u00e8les propri\u00e9taires comme GPT-4, mais la disponibilit\u00e9 prochaine de Llama 3<\/em> et les progr\u00e8s rapides de Mistral<\/em> permettent d’ \u00eatre optimistes.<\/p>\n\n\n\n Si les mod\u00e8les locaux sont op\u00e9rationnels d\u00e8s aujourd’hui, 2024 devrait voir l’ \u00e9mergence de mod\u00e8les fonctionnant sur smartphone<\/em>. Internet bruisse de rumeurs selon lesquelles Apple se pr\u00e9parerait \u00e0 lancer une nouvelle version de Siri bas\u00e9e sur un mod\u00e8le g\u00e9n\u00e9ratif pouvant piloter certaines applications du t\u00e9l\u00e9phone. Samsung<\/em>, de son c\u00f4t\u00e9 a d\u00e9velopp\u00e9 un mod\u00e8le de langage appel\u00e9 Gauss<\/em> destin\u00e9 \u00e0 \u00eatre int\u00e9gr\u00e9 sur ses t\u00e9l\u00e9phones dans un avenir proche…<\/p>\n\n\n\n <\/p>\n","protected":false},"excerpt":{"rendered":" Si 2023 a \u00e9t\u00e9 domin\u00e9e par les mod\u00e8les en cloud comme chatGPT et Claude, 2024 pourrait faire place aux mod\u00e8les open-source, offrant de nouvelles perspectives d’utilisation et d’int\u00e9gration. Des indicateurs de performance, des choix et installations de mod\u00e8les locaux, ainsi que des applications pratiques sont pr\u00e9sent\u00e9s.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11,12],"tags":[],"class_list":["post-1087","post","type-post","status-publish","format-standard","hentry","category-modeles-dimage","category-modeles-de-langage","post-preview"],"_links":{"self":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/1087","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/comments?post=1087"}],"version-history":[{"count":0,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/1087\/revisions"}],"wp:attachment":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/media?parent=1087"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/categories?post=1087"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/tags?post=1087"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}1. Identifier et choisir un mod\u00e8le local<\/h2>\n\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240205a.png\")
\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240225b.png\")
2. Installer un programme d’ exploitation et t\u00e9l\u00e9charger le mod\u00e8le<\/h2>\n\n\n\n
\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240205c.png\")
ollama run *model*<\/code>. Ollama t\u00e9l\u00e9chargera d’ abord le mod\u00e8le si ce dernier n’ est pas d\u00e9j\u00e0 pr\u00e9sent localement, puis ouvrira une session de dialogue interactif. Tapez \/bye<\/code> pour arr\u00eater la session interactive.
Quelques autres commandes :<\/p>\n\n\n\n\n
Ollama list<\/code> :\u2002fournit la liste des mod\u00e8les disponibles localement.<\/li>\n\n\n\nOllama pull *model*<\/code> : installe un mod\u00e8le sans lancer l’ ex\u00e9cution.<\/li>\n\n\n\nOllama rm *model*<\/code> : supprime le mod\u00e8le local.<\/li>\n<\/ul>\n\n\n\n3. Exploiter un mod\u00e8le local<\/h2>\n\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240205d.png\")
4. R\u00e9flexions<\/h2>\n\n\n\n
5. Notes et r\u00e9f\u00e9rences<\/h2>\n\n\n\n
\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n