Ces techniques se retrouvent au milieu de la figure ci-dessous, entre les deux extr\u00eames du simple dialogue et de l’ entra\u00eenement complet :<\/p>\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240218a.png\")
C’est un sujet int\u00e9ressant \u00e0 couvrir maintenant car il compl\u00e8te bien mon pr\u00e9c\u00e9dent article<\/a> sur les mod\u00e8les locaux. En effet, certaines techniques comme l’ affinage s’ adressent principalement aux mod\u00e8les open-source<\/em> dont les param\u00e8tres sont librement disponibles.<\/p>\n\n\n\n Passons maintenant les diff\u00e9rentes techniques en revue.<\/p>\n\n\n\n Le Prompt engineering<\/em> est un sujet que j’ai d\u00e9j\u00e0 trait\u00e9 dans un pr\u00e9c\u00e9dent article accessible ici<\/a>.<\/p>\n\n\n\n Il comprend deux techniques \u00e9l\u00e9mentaires sous-jacentes : la premi\u00e8re consiste \u00e0 fournir suffisamment d’ informations contextuelles dans l’invite. Le mod\u00e8le combinera alors l’ ensemble des informations en sa possession (ceux de l’ entra\u00eenement et ceux fournis dans l’invite) pour r\u00e9pondre \u00e0 la question pos\u00e9e.<\/p>\n\n\n\n La seconde technique revient \u00e0 inciter le mod\u00e8le \u00e0 suivre un raisonnement logique structur\u00e9. Les mod\u00e8les de langage ayant \u00e9t\u00e9 entra\u00een\u00e9s pour se conformer aux instructions de l’utilisateur, il est possible de leur demander de suivre un raisonnement pas \u00e0 pas ou de fournir une s\u00e9rie d’ exemples r\u00e9solus pour mettre le mod\u00e8le sur la bonne voie. Sans \u00eatre une panac\u00e9e, ces techniques ont d\u00e9j\u00e0 d\u00e9montr\u00e9 leur efficacit\u00e9.<\/p>\n\n\n Une m\u00e9thode amusante consiste \u00e0 promettre une r\u00e9compense financi\u00e8re au mod\u00e8le s’ il r\u00e9pond correctement. Ajoutez simplement \u00ab\u00a0Si tu r\u00e9ponds correctement, je te donnerai dix euros\u00a0\u00bb<\/em> \u00e0 la fin de l’invite. Croyez-le ou non, cela semble fonctionner !<\/p>\n\n\n\n Le prompt engineering<\/em> peut fournir une pr\u00e9cision suffisante dans un certain nombre d’ applications. Son principal avantage est sa simplicit\u00e9 de mise en oeuvre, qui ne demande pas non plus de ressources de calcul suppl\u00e9mentaires.<\/p>\n\n\n\n Mais cette technique se heurte \u00e0 la taille limit\u00e9e des fen\u00eatres de contexte des mod\u00e8les de langage. Elle ne pourra donc pas s’appliquer lorque le volume d’ informations \u00e0 transmettre est trop grand ou trop complexe \u00e0 d\u00e9crire dans le prompt<\/em>. On risque alors de voir le mod\u00e8le inventer les informations manquantes pour aboutir \u00e0 des r\u00e9ponses incorrectes voire insens\u00e9es (hallucinations<\/em>).<\/p>\n\n\n\n L’ id\u00e9e vous aura peut-\u00eatre effleur\u00e9 l’ esprit en lisant le point pr\u00e9c\u00e9dent : pourquoi ne pas combiner la technique du prompt engineering<\/em> avec un engin de recherche indexant les donn\u00e9es compl\u00e9mentaires ? On obtiendrait alors une invite \u00ab\u00a0enrichie\u00a0\u00bb par les \u00e9l\u00e9ments suppl\u00e9mentaires les plus significatifs, de mani\u00e8re automatis\u00e9e et transparente pour l’utilisateur…<\/p>\n\n\n\n C’est ce que promet la G\u00e9n\u00e9ration Augment\u00e9e de R\u00e9cup\u00e9ration (Retrieval Augmented Generation<\/em> ou RAG en Anglais). Voici la mani\u00e8re dont cette technique fonctionne :<\/p>\n\n\n\n Cette technique pr\u00e9sente un certain nombre d’ avantages. Imaginez un ensemble typique d’ informations propri\u00e9taires g\u00e9n\u00e9r\u00e9es par une entreprise : bases de donn\u00e9es, documents pdf, fichiers excel, flux d’ actualit\u00e9s, minutes de r\u00e9union….. L’ ensemble de ces donn\u00e9es pourra \u00eatre d\u00e9coup\u00e9, index\u00e9 s\u00e9mantiquement et introduit dans la base de donn\u00e9es vectorielle. Et il est assez ais\u00e9 de continuer \u00e0 enrichir r\u00e9guli\u00e8rement la base de donn\u00e9es vectorielles pour s’ assurer que les informations restent \u00e0 jour.<\/p>\n\n\n\n Le second grand avantage est qu’ il n’ est pas n\u00e9cessaire de modifier le mod\u00e8le de langage en tant que tel. Tout d\u00e9pend bien s\u00fbr de l’ efficacit\u00e9 du m\u00e9canisme d’ indexation s\u00e9mantique, mais apr\u00e8s 25 ans d’existence d’ engins de recherche sur Internet, ces techniques sont matures.<\/p>\n\n\n\n Qui plus est, une librairie de programmation comme Langchain<\/a> contient l’ ensemble des fonctionnalit\u00e9s n\u00e9cessaires pour orchestrer l’ interaction avec la base de donn\u00e9es vectorielle et le mod\u00e8le de langage. Cette librairie supporte notamment une centaine de formats de fichier pour nourrir la base de connaissances.<\/p>\n\n\n\n Le prix \u00e0 payer est une plus grande complexit\u00e9 de l’ architecture informatique. Il faut int\u00e9grer et combiner plusieurs \u00e9l\u00e9ments d’ infrastructure. Et si une base de donn\u00e9es vectorielle dans le cloud<\/em> comme Pinecone<\/a> est utilis\u00e9e, il faut aussi prendre en compte les risques de confidentialit\u00e9 qui vont avec.<\/p>\n\n\n\n Enfin, l’ enrichichissement du contexte se faisant de mani\u00e8re ponctuelle et cibl\u00e9e, cette technique n’est pas appropri\u00e9e si vous visez \u00e0 sp\u00e9cialiser un mod\u00e8le de langage dans un domaine complexe comme la m\u00e9decine ou la finance.<\/p>\n\n\n\n Dans ce cas, il vaut mieux affiner le mod\u00e8le. C’est ce que nous allons voir maintenant.<\/p>\n\n\n\n L’ affinage d’un mod\u00e8le est un processus au cours duquel un mod\u00e8le d\u00e9j\u00e0 pr\u00e9entra\u00een\u00e9 subit un entra\u00eenement suppl\u00e9mentaire sur un ensemble de donn\u00e9es sp\u00e9cifique. Il permet de capitaliser sur la connaissance d\u00e9j\u00e0 int\u00e9gr\u00e9e lors de l’ entra\u00eenement initial, en renfor\u00e7ant la comp\u00e9tence du mod\u00e8le dans un domaine sp\u00e9cifique en contrepartie d’ un investissement raisonnable en ressources informatiques.<\/p>\n\n\n\n Cette technique est importante car l’ entra\u00eenement initial d’un mod\u00e8le requiert des ressources \u00e9normes, ce qui le rend hors de port\u00e9e de la pluart des organisations.<\/p>\n\n\n\n Il est possible de r\u00e9duire encore plus le besoin en puissance en recourant \u00e0 des techniques avanc\u00e9es d’ affinage comme LoRA (Low-Rank Adaptation<\/em>). Cette m\u00e9thode introduite d\u00e9but 2023 r\u00e9duit consid\u00e9rablement le nombre de param\u00e8tres \u00e0 entra\u00eener au prix d’une faible d\u00e9gradation en qualit\u00e9.<\/p>\n\n\n Vous devrez disposer d’un jeu de donn\u00e9es suffisant pour l’ entra\u00eenement compl\u00e9mentaire. Si vous cherchez \u00e0 approfondir l’ expertise du mod\u00e8le dans un domaine sp\u00e9cifique vous pouvez commencer par utiliser tous les documents de r\u00e9f\u00e9rence sur le sujet dont vous disposez.<\/p>\n\n\n\n De plus, vous pouvez am\u00e9liorer le type de r\u00e9ponse du mod\u00e8le en ajoutant au donn\u00e9es d’ entra\u00eenement un ensemble d’ invites (prompts<\/em>) et de leurs r\u00e9ponses. Ce jeu de donn\u00e9es peut avoir \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9 manuellement ou via un mod\u00e8le de langage \u00ab\u00a0haut de gamme\u00a0\u00bb comme GPT4.<\/p>\n\n\n\n Quoi qu’ il en soit, l’ affinage reste une technique plus complexe, qui requiert une expertise suffisante en IA pour constituer le jeu de donn\u00e9es, mettre en place l’ algorithme d’ entra\u00eenement du mod\u00e8le et ensuite \u00e9valuer les performances du mod\u00e8le modifi\u00e9. Cette approche n\u00e9cessite aussi l’ acc\u00e8s \u00e0 une puissance de calcul significative.<\/p>\n\n\n\n Un point faible de cette approche par rapport \u00e0 la G\u00e9n\u00e9ration Augment\u00e9e de R\u00e9cup\u00e9ration est qu’ il est nettement plus difficile d’ introduire de nouvelles informations dans le mod\u00e8le : il faut repasser par une phase d’ entra\u00eenement avec tous les efforts qu’ elle implique.<\/p>\n\n\n\n Une autre contrainte de cette approche est que pour pouvoir modifier un mod\u00e8le, il faut disposer de ses param\u00e8tres. Et donc en pratique, seuls les mod\u00e8les open-source<\/em> comme Llama2 ou Mistral se pr\u00eatent \u00e0 ce genre d’ exercice.<\/p>\n\n\n\n Enfin, il faut noter que des versions d\u00e9j\u00e0 affin\u00e9es de mod\u00e8les de langage open-source<\/em> comme Llama sont disponibles sur Internet, pour certains domaines particuliers comme la programmation. Utiliser un tel mod\u00e8le peut aussi \u00eatre une solution…<\/p>\n\n\n\n L’ exploitation avanc\u00e9e de mod\u00e8les de langage d\u00e9crite ci-dessus est en progression rapide. Tant les techniques d’affinage \u00ab\u00a0optimis\u00e9es\u00a0\u00bb que les algorithmes de recherche s\u00e9mantiques et les bases de donn\u00e9es vectorielles de la RAG font des progr\u00e8s constants.<\/p>\n\n\n\n Des techniques comme le RAG ou l’ affinage sont trop lourdes pour une utilisation priv\u00e9e, mais constituent une solution int\u00e9ressante pour des entreprises. La disponibilit\u00e9 de mod\u00e8les open-source<\/em> combin\u00e9e \u00e0 ces techniques offre une grande souplesse de d\u00e9ploiement aux organisations d\u00e9sireuses d’ exploiter les mod\u00e8les de langage au mieux de leurs capacit\u00e9s.<\/p>\n\n\n\n Et la possibilit\u00e9 de faire fonctionner l’ ensemble \u00ab\u00a0en interne\u00a0\u00bb offre une r\u00e9ponse \u00e9l\u00e9gante aux soucis de confidentialit\u00e9 qui freinent de nombreuses organisations.<\/p>\n\n\n\n <\/p>\n","protected":false},"excerpt":{"rendered":" Le march\u00e9 des mod\u00e8les de langage actuels pr\u00e9sente des lacunes pour r\u00e9pondre \u00e0 des besoins sp\u00e9cifiques d’entreprises. Pour pallier cela, des techniques d’enrichissement telles que le prompt engineering, la R\u00e9cup\u00e9ration Augment\u00e9e de G\u00e9n\u00e9ration (RAG) et l’affinage des mod\u00e8les sont propos\u00e9es. Ces approches offrent une flexibilit\u00e9 et des performances accrues pour les organisations.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[12],"tags":[],"class_list":["post-1122","post","type-post","status-publish","format-standard","hentry","category-modeles-de-langage","post-preview"],"_links":{"self":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/1122","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/comments?post=1122"}],"version-history":[{"count":0,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/1122\/revisions"}],"wp:attachment":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/media?parent=1122"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/categories?post=1122"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/tags?post=1122"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}1. Le Prompt Engineering<\/h2>\n\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240218b.png\")
2. La G\u00e9n\u00e9ration Augment\u00e9e de R\u00e9cup\u00e9ration (RAG)<\/h2>\n\n\n\n
\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240218c.png\")
3. L’ affinage des mod\u00e8les<\/h2>\n\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.wordpress.com\/wp-content\/uploads\/2024\/02\/image-20240218d.png\")
4. R\u00e9flexions<\/h2>\n\n\n\n
5. Notes et r\u00e9f\u00e9rences<\/h2>\n\n\n\n
\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n