Catégorie : Modèles de langage (Page 2 of 3)

Un des points faibles des modèles actuellement disponibles sur le marché est qu’ ils ont été entraînés sur un ensemble de données publiquement accessibles qui ne va pas nécessairement suffire pour répondre à certains besoins spécifiques.

Prenons l’ exemple d’une entreprise qui possède un volume important de données propriétaires, qui utilise un vocabulaire hautement spécialisé ou encore qui utilise des formats de données spécifiques. Ces connaissances ne seront a priori pas intégrées dans un modèle généraliste car les données ne sont pas accessibles publiquement. Comment y remédier ? C’est ce que je voudrais exposer aujourd’ hui.

Il existe plusieurs techniques pour « enrichir » les connaissances du modèle. On trouve, par ordre de complexité croissante :

• le prompt engineering;
• la génération augmentée de récupération (RAG en Anglais);
• l’ affinage du modèle (complet ou optimisé).

Ces techniques se retrouvent au milieu de la figure ci-dessous, entre les deux extrêmes du simple dialogue et de l’ entraînement complet :

C’est un sujet intéressant à couvrir maintenant car il complète bien mon précédent article sur les modèles locaux. En effet, certaines techniques comme l’ affinage s’ adressent principalement aux modèles open-source dont les paramètres sont librement disponibles.

Passons maintenant les différentes techniques en revue.

1. Le Prompt Engineering

Le Prompt engineering est un sujet que j’ai déjà traité dans un précédent article accessible ici.

Il comprend deux techniques élémentaires sous-jacentes : la première consiste à fournir suffisamment d’ informations contextuelles dans l’invite. Le modèle combinera alors l’ ensemble des informations en sa possession (ceux de l’ entraînement et ceux fournis dans l’invite) pour répondre à la question posée.

La seconde technique revient à inciter le modèle à suivre un raisonnement logique structuré. Les modèles de langage ayant été entraînés pour se conformer aux instructions de l’utilisateur, il est possible de leur demander de suivre un raisonnement pas à pas ou de fournir une série d’ exemples résolus pour mettre le modèle sur la bonne voie. Sans être une panacée, ces techniques ont déjà démontré leur efficacité.

Une méthode amusante consiste à promettre une récompense financière au modèle s’ il répond correctement. Ajoutez simplement « Si tu réponds correctement, je te donnerai dix euros » à la fin de l’invite. Croyez-le ou non, cela semble fonctionner !

Le prompt engineering peut fournir une précision suffisante dans un certain nombre d’ applications. Son principal avantage est sa simplicité de mise en oeuvre, qui ne demande pas non plus de ressources de calcul supplémentaires.

Mais cette technique se heurte à la taille limitée des fenêtres de contexte des modèles de langage. Elle ne pourra donc pas s’appliquer lorque le volume d’ informations à transmettre est trop grand ou trop complexe à décrire dans le prompt. On risque alors de voir le modèle inventer les informations manquantes pour aboutir à des réponses incorrectes voire insensées (hallucinations).

2. La Génération Augmentée de Récupération (RAG)

L’ idée vous aura peut-être effleuré l’ esprit en lisant le point précédent : pourquoi ne pas combiner la technique du prompt engineering avec un engin de recherche indexant les données complémentaires ? On obtiendrait alors une invite « enrichie » par les éléments supplémentaires les plus significatifs, de manière automatisée et transparente pour l’utilisateur…

C’est ce que promet la Génération Augmentée de Récupération (Retrieval Augmented Generation ou RAG en Anglais). Voici la manière dont cette technique fonctionne :

• Les informations supplémentaires sont découpées en blocs et chacun de ces blocs est indexé en fonction de son contenu. Ces index sont en général des vecteurs dont la position dans l’ espace dépend du contenu du bloc (indexation sémantique). Vous trouverez ici une introduction sur ce sujet;
  
• L’ ensemble des index est placé dans une base de données vectorielle qui contient également la référence des blocs de texte indexés;
  
• Lorsqu’ un utilisateur pose une question, le texte de la question est lui aussi indexé selon le même algorithme. Une recherche dans la base de données vectorielle permettra d’ identifier les blocs sémantiquement proches de l’ invite sur base de la proximité entre les vecteurs;
  
• Ces blocs d’ informations sémantiquement proches sont concaténés à l’ invite d’origine en tant que contexte additionnel;
  
• L’ invite enrichie du contexte additionnel est envoyée au modèle de langage pour réponse.

Cette technique présente un certain nombre d’ avantages. Imaginez un ensemble typique d’ informations propriétaires générées par une entreprise : bases de données, documents pdf, fichiers excel, flux d’ actualités, minutes de réunion….. L’ ensemble de ces données pourra être découpé, indexé sémantiquement et introduit dans la base de données vectorielle. Et il est assez aisé de continuer à enrichir régulièrement la base de données vectorielles pour s’ assurer que les informations restent à jour.

Le second grand avantage est qu’ il n’ est pas nécessaire de modifier le modèle de langage en tant que tel. Tout dépend bien sûr de l’ efficacité du mécanisme d’ indexation sémantique, mais après 25 ans d’existence d’ engins de recherche sur Internet, ces techniques sont matures.

Qui plus est, une librairie de programmation comme Langchain contient l’ ensemble des fonctionnalités nécessaires pour orchestrer l’ interaction avec la base de données vectorielle et le modèle de langage. Cette librairie supporte notamment une centaine de formats de fichier pour nourrir la base de connaissances.

Le prix à payer est une plus grande complexité de l’ architecture informatique. Il faut intégrer et combiner plusieurs éléments d’ infrastructure. Et si une base de données vectorielle dans le cloud comme Pinecone est utilisée, il faut aussi prendre en compte les risques de confidentialité qui vont avec.

Enfin, l’ enrichichissement du contexte se faisant de manière ponctuelle et ciblée, cette technique n’est pas appropriée si vous visez à spécialiser un modèle de langage dans un domaine complexe comme la médecine ou la finance.

Dans ce cas, il vaut mieux affiner le modèle. C’est ce que nous allons voir maintenant.

3. L’ affinage des modèles

L’ affinage d’un modèle est un processus au cours duquel un modèle déjà préentraîné subit un entraînement supplémentaire sur un ensemble de données spécifique. Il permet de capitaliser sur la connaissance déjà intégrée lors de l’ entraînement initial, en renforçant la compétence du modèle dans un domaine spécifique en contrepartie d’ un investissement raisonnable en ressources informatiques.

Cette technique est importante car l’ entraînement initial d’un modèle requiert des ressources énormes, ce qui le rend hors de portée de la pluart des organisations.

Il est possible de réduire encore plus le besoin en puissance en recourant à des techniques avancées d’ affinage comme LoRA (Low-Rank Adaptation). Cette méthode introduite début 2023 réduit considérablement le nombre de paramètres à entraîner au prix d’une faible dégradation en qualité.

Vous devrez disposer d’un jeu de données suffisant pour l’ entraînement complémentaire. Si vous cherchez à approfondir l’ expertise du modèle dans un domaine spécifique vous pouvez commencer par utiliser tous les documents de référence sur le sujet dont vous disposez.

De plus, vous pouvez améliorer le type de réponse du modèle en ajoutant au données d’ entraînement un ensemble d’ invites (prompts) et de leurs réponses. Ce jeu de données peut avoir été généré manuellement ou via un modèle de langage « haut de gamme » comme GPT4.

Quoi qu’ il en soit, l’ affinage reste une technique plus complexe, qui requiert une expertise suffisante en IA pour constituer le jeu de données, mettre en place l’ algorithme d’ entraînement du modèle et ensuite évaluer les performances du modèle modifié. Cette approche nécessite aussi l’ accès à une puissance de calcul significative.

Un point faible de cette approche par rapport à la Génération Augmentée de Récupération est qu’ il est nettement plus difficile d’ introduire de nouvelles informations dans le modèle : il faut repasser par une phase d’ entraînement avec tous les efforts qu’ elle implique.

Une autre contrainte de cette approche est que pour pouvoir modifier un modèle, il faut disposer de ses paramètres. Et donc en pratique, seuls les modèles open-source comme Llama2 ou Mistral se prêtent à ce genre d’ exercice.

Enfin, il faut noter que des versions déjà affinées de modèles de langage open-source comme Llama sont disponibles sur Internet, pour certains domaines particuliers comme la programmation. Utiliser un tel modèle peut aussi être une solution…

4. Réflexions

L’ exploitation avancée de modèles de langage décrite ci-dessus est en progression rapide. Tant les techniques d’affinage « optimisées » que les algorithmes de recherche sémantiques et les bases de données vectorielles de la RAG font des progrès constants.

Des techniques comme le RAG ou l’ affinage sont trop lourdes pour une utilisation privée, mais constituent une solution intéressante pour des entreprises. La disponibilité de modèles open-source combinée à ces techniques offre une grande souplesse de déploiement aux organisations désireuses d’ exploiter les modèles de langage au mieux de leurs capacités.

Et la possibilité de faire fonctionner l’ ensemble « en interne » offre une réponse élégante aux soucis de confidentialité qui freinent de nombreuses organisations.

5. Notes et références

• Full Fine-Tuning, PEFT, Prompt Engineering and RAG : Which One is Right for You ?, par Najeeb Nawani pour Deci.ai, le 20 septembre 2023 : https://deci.ai/blog/fine-tuning-peft-prompt-engineering-and-rag-which-one-is-right-for-you/
  
• Qu’est-ce que la génération augmentée de récupération (RAG, retrieval-augmented generation) ?, par alan Zichik pour Oracle, le 19 septembre 2023 : https://www.oracle.com/fr/artificial-intelligence/generative-ai/retrieval-augmented-generation-rag/
  
• LLM Explained : The LLM Training Landscape, par Crystal Liu sur Medium, le 7 août 2023 : https://liu-gendary.medium.com/llm-explained-the-llm-training-landscape-82c803495caa
  
• Making LLMs Work For Your Use-Case – Fine-Tuning vs. RAG vs. Long Context Length vs. Prompting, tweet de Bindu Reddy : https://twitter.com/bindureddy/status/1712257709918318898
  
• The Art of Fine-Tuning Large Language Models, tweet de Bindu Reddy : https://twitter.com/bindureddy/status/1699275289493430699
  
• Vector Embeddings for Developers: The Basics, par Roie Schwaber-Cohen sur le site de Pinecone.io, le 30 juin 2023 : https://www.pinecone.io/learn/vector-embeddings-for-developers/

Les modèles de langage sont des systèmes d’ intelligence artificielle qui utilisent des volumes massifs de données textuelles collectés sur internet pour générer du texte, faire des traductions, interagir avec l’ utilisateur ou encore générer toutes sortes de contenus originaux.

Ces modèles peuvent être classés en deux grandes catégories, les modèles propriétaires et les modèles open-source. Cette distinction va avoir d’ importantes conséquences sur les possibiités d’ utilisation du modèle.

Les modèles dont j’ ai principalement parlé jusqu’ici –ChatGPT, Bard, Bing, Claude…- sont des modèles propriétaires : ils sont la propriété d’ une firme et peuvent uniquement être exploités selon les conditions décrites dans la licence d’exploitation. Cette license peut ou non être payante. Et à ce jour aucun des modèles propriétaires n’ est exploitable localement : vous devez utiliser une interface (web ou logicielle) pour interroger le modèle à distance.

L’ approche open-source est différente. Elle met à disposition du public l’ ensemble du modèle. L’ utilisateur peut donc l’ exploiter, le modifier et l’ améliorer à sa guise. Comme le concept de l’ open-source est très répandu dans le mode de l’ informatique et bien antérieur aux modèles de langage, j’ ai pensé qu’ il serait intéressant de commencer par en dire un peu plus à ce sujet.

1. Qu’est-ce que l’ open-source ?

Les débuts du mouvement open-source sont intimement liés au système d’ exploitation UNIX. Les développeurs originaux du système UNIX dans les années 1970 avaient pour habitude de partager les codes source. Lorsque certaines firmes ont décidé de commercialiser le code sous forme propriétaire pendant les années 1980, un mouvement de dissidence est né pour créer une version « ouverte » du système d’ exploitation. Une fois l’ approche formalisée, le mouvement open-source s’ est progressivement étendu et a prospéré jusqu’ à aujourd’ hui. On lui doit notamment le système d’ exploitation Linux et bien d’ autres logiciels et outils bien connus comme le langage Python.

Le mouvement open-source a donc été initié par des programmeurs qui rejetaient le modèle fermé et centralisé du développement de logiciels propriétaires. Dans ces derniers, seul le code exécutable est publié, alors que le code source est tenu secret afin d’ éviter la concurrence.

Le mouvement open-source rejette cette pratique : la totalité du code source est publié sous une licence qui permet la libre distribution, l’exploitation (commerciale ou non) et la modification du code. En contrepartie, l’ utilisateur s’ engage essentiellement sur deux points : ne pas tenter de s’ approprier le code mis à disposition et accepter ce dernier « en l’état » sans garantie ou recours en cas de dysfonctionnement. Certaines licenses open-source sont plus restrictives et obligent également l’utilisateur à publier tout programme dérivé également sous license open-source; on parle alors de licence réciproque ou copyleft.

Revenons maintenant aux modèles de langage…

2. Situation des modèles de langage open-source

Les premiers modèles de langage open-source étaient considérés comme nettement inférieurs aux modèles propriétaires. La situation a changé cette année, notamment suite aux activités de Meta qui a successivement publié les modèles LlaMA et LlaMA 2.

Les circonstances de la publication de LlaMA en février 2023 sont assez cocasses. Meta a initialement publié le code du modèle en open-source, mais pas les paramètres du modèle -sans lesquels ce dernier est inutilisable-. Les paramètres étaient uniquement fournis à des fins de recherche au cas par cas, sans possibilité d’ exploitation commerciale. Il n’ a pas fallu plus d’ une semaine pour que ces paramètres fuitent et se retrouvent disponibles au public par téléchargement…

Cette fuite a donné un coup d’accélérateur au développement de modèles de langage open-source : des modèles dérivés de LlaMA par affinage comme Vicuna et Alpaca ont été publiés quelques semaines plus tard, ainsi que la librairie GPT4ALL qui permet de faire facilement fonctionner ces modèles sur un ordinateur personnel. Cependant la légalité de ces modèles dérivés, reposant sur une fuite, était floue et ne permettait en pratique que la recherche à l’ exclusion de toute exploitation commerciale.

Meta n’ a pas voulu réitérer l’ expérience : le modèle suivant LlaMA 2 , publié en juillet 2023, est disponible sous une licence open-source et permet donc l’ exploitation commerciale par des tiers.

Et entretemps, d’ autres modèles open-source exploitables commercialement ont été développés comme MPT de MosaicML, Falcon ou encore Mistral, et de nouveaux modèles sont régulièrement publiés. La figure 1 montre une tentative de taxonomie des différents modèles. Les modèles open-source sont repris sur fond grisé.

Un bémol cependant : certains modèles comme LlaMA 2 ou Falcon ne sont pas totalement open-source et leur exploitation commerciale n’ est possible que moyennant certaines limitations. Ces limitations -peu contraignantes en pratique- sont généralement de nature à empêcher la concurrence avec le développeur ou visent à interdire les utilisations illégales ou dangereuses. Par exemple, LlaMA 2 ne peut pas être exploité par les entreprises comptant plus de 700 millions d’utilisateurs (!) ni pour améliorer un autre modèle de langage. Comme toujours, vérifiez les termes précis de la licence avec un juriste avant, pour ne pas avoir d’ ennuis après.

Les modèles open-source sont maintenant très performants et les meilleurs d’entre eux se classent juste en-dessous des meilleurs modèles propriétaires, comme vous pouvez le voir sur Chatbot arena.

Il est fort possible que les modèles open-source comblent l’ écart avec les modèles propriétaires au cours des 12 à 18 prochains mois: Meta travaille sur Llama 3 qui devrait être multimodal et a déclaré qu’ il sera publié en open-source, tandis que l’affinage permet de créer des modèles spécialisés qui peuvent rivaliser avec un modèle propriétaire généraliste dans un domaine particulier tout en étant moins gourmands en puissance de calcul.

3. Avantages

Les avantages des modèles open-source pour l’utilisateur sont de trois ordres :

• Coût d’exploitation : l’ utilisation d’ un modèle open-source est en général beaucoup moins onéreuse que celle d’ un modèle propriétaire vu l’ absence de frais de licence. En contrepartie, des frais d’ infrastructure -serveur local ou dans le cloud- et un investissement initial de mise en place seront nécessaire. L’ économie se réalisera donc plutôt à moyen terme.
  
• Flexibilité : les modèles open-source peuvent être affinés pour mieux répondre aux besoins de l’ utilisateur. Concrètement, affiner correspond à étendre l’ entraînement du modèle sur un ensemble de données textuelles que vous fournissez et qui correspond à vos cas d’ utilisation.
  
• Confidentialité : le modèle se trouvant dans l’ infrastructure de l’exploitant, les risques liés à l’échange de données avec une autre organisation souvent située outre-Atlantique disparaissent.

Un chose à souligner est que l’ affinage, si vous y recourez, est beaucoup moins exigeant en puissance de calcul que l’ entraînement intial du modèle (et donc en termes de coûts). L’ entreprise qui met le modèle à disposition a déjà supporté la toute grande majorité des coûts d’ entraînement.

En contrepartie, il y aura une activité technique initiale pour installer le modèle, le faire fonctionner et l’intégrer dans votre infrastructure (plus l’ affinage du modèle si vous choisissez de le faire).

4. Références

• Harnessing the Power of LLMs in Practice : A Survey on ChatGPT and Beyond : Jinfeng Yang,Hongye Jin, Ruixiang Tang, Xiaotian Han et Qizhang Feng, 2023. Arxiv 2304.13712 : https://arxiv.org/abs/2304.13712
  
• The History of Open-Source LLMs: Early Days (Part One), par Cameron R. Wolfe, 24 juillet 2023 : https://cameronrwolfe.substack.com/p/the-history-of-open-source-llms-early
  
• The History of Open-Source LLMs: Better Base Models (Part Two), par Cameron R. Wolfe, 31 juillet 2023 : https://cameronrwolfe.substack.com/p/the-history-of-open-source-llms-better
  
• The History of Open-Source LLMs: Imitation and Alignment (Part Three), par Cameron R. Wolfe, 7 août 2023 : https://cameronrwolfe.substack.com/p/the-history-of-open-source-llms-imitation
  
• LLaMA-2 from the Ground Up*; par Cameron R. Wolfe, 7 août 2023 : https://cameronrwolfe.substack.com/p/llama-2-from-the-ground-up

Aujourd’hui, nous pouvons discuter avec l’intelligence artificielle et lui permettre de générer des réponses semblables à celles des humains. Les modèles de langage combinent les informations contenues dans l’ invite (en anglais : le prompt) avec celles intégrées dans le modèle pendant l’entraînement pour générer leurs réponses. Les informations contenues dans l’ invite peuvent être vues comme une forme complémentaire d’ apprentissage limitée au dialogue en cours.

La formulation du prompt est donc déterminante et forme le socle d’ une discipline naissante appelée prompt engineering. Le prompt engineering comprend à la fois des techniques de bases que j’ illustre ici, mais aussi des techniques plus avancées que je couvrirai ultérieurement. Il faut bien noter que toutes ces techniques sont de nature empirique, elles se sont constituées au fil des expérimentations des utilisateurs sur les modèles. Il n’ y a pas de théorie formelle sous-jacente. Dès lors, il est tout à fait possible que de nouvelles approches plus efficaces soient identifiées à l’ avenir.

Plus concrètement, je vous présente dans cet article une méthodologie structurée de construction d’ une invite efficace, applicable à tous les modèles conversationnels actuels (ChatGPT, Bing chat, Claude, Llama 2, Bard…).

1. Structure

Nous allons construire notre prompt suivant une structure en six parties. Ces parties, par ordre d’importance décroissante sont :

1. La tâche : décrit ce que vous voulez obtenir comme information du modèle. C’est évidement l’information fondamentale;
   
2. Le contexte : reprend des informations complémentaires expliquant les circonstances et l’environnement dans lesquels la tâche doit être exécutée;
   
3. La guidance : guide le modèle à fournir le contenu de réponse que vous attendez;
   
4. La personnalité : décrit la personnalité que le modèle va chercher à incarner dans sa réponse;
   
5. Le format : décrit le format de la réponse;
   
6. Le ton : décrit l’humeur et la tonalité de la réponse : formelle, humoristique, enthousiaste..

A l’ exception de la tâche, aucune partie n’ est absolument requise mais elles contribuent à la qualité de la réponse en fonction de leur importance respective. L’ ordre dans lequel les différentes parties sont rédigées dans l’ invite peut varier, pour autant que l’ ensemble reste cohérent et mette l’ emphase sur les éléments les plus importants.

Voici une illustration de prompt complet montrant la contribution de chaque partie à l’ ensemble :

J’en profite pour faire un lien avec les instructions personnalisées de ChatGPT que j’avais mentionnées dans un article précédent : Il vous est possible de placer certaines des parties de l’invite que vous réutilisez systématiquement dans les Custom Instructions, comme la personnalité, le format, le ton et potentiellement certains élements de contexte.

Voyons maintenant chaque partie plus en détail.

2. Définition de la tâche

La tâche est le coeur de l’ invite: elle indique au modèle ce qu’ il doit faire en retour. Il est essentiel d’ être clair et concis pour garantir que le modèle comprend votre demande.

Quelques verbes typiques de la description d’une tâche : traduis, résume, analyse, trie, classe, rédige, génère, explique, décris, planifie, organise, demande….

Pensez à bien décrire l’ objectif que vous recherchez, et n’ hésitez pas à détailler si nécessaire.

Exemples :

• simple : Génère un programme d’entraînement approprié pour courir un marathon;
  
• complexe : Analyse le retour des abonnées à notre lettre d’information, résume les trois points d’amélioration principaux et catégorise le reste par ordre d’importance décroissante.

3. Définition du contexte

Comme dans toute conversation, plus vous fournissez de contexte lors de la rédaction des invites, plus les résultats d’ un modèle linguistique comme ChatGPT seront pertinents. Votre contexte devrait reprendre des informations sur l’ environnement et des circonstances dans lequel se fait la demande ainsi que la situation des intervenants et leurs objectifs. Si possible, reliez cela à l’ objectif de votre demande et les facteurs de succès qui y sont liés.

Exemples :

• sportif : Je suis un homme de 54 ans qui court environ 10 kilomètres tous les deux jours. J’ai déjà couru deux marathons il y a environ 15 ans et je voudrais recommencer. Cependant je n’ai plus du tout l’habitude de courir de longues distances. Mon but pour le marathon est de terminer dans le temps imparti (4h30 minutes) pour ne pas être disqualifié.
  
• ingéniérie : Nous sommes un bureau d’études en charge de rénover un pont ferroviaire sur la Meuse. Ce pont de 165 mètres de long a été construit dans les années 1970. Il compte cinq piles qui portent six travées et possède un tablier en béton. Le pont montre des signes d’usure et des rénovations sont nécessaires au niveau du béton, des joints étanches sous les voies et des supports entre les tabliers de pont et les piles. Lors de la rénovation, il est essentiel que les passants et les riverains subissent le moins de désagréments possible.
  

4. Définition de la guidance

La guidance a pour but d’aider le modèle à fournir une réponse correcte.

L’ approche la plus simple est de recourir à une description du contenu que vous attendez. La guidance vient épauler la définition de la tâche et se confond parfois avec elle. La guidance n’est pas toujours nécessaire, cela dépend du type de tâche demandé par l’utilisateur.

Exemple : dans votre réponse, listez les trois causes les plus probables de la panne de courant et pour chacune, expliquez votre raisonnement en mettant en concordance les causes proposées avec le déroulement des événements.

L’ autre approche est de fournir un ou plusieurs exemples reprenant une séquence questions/réponses qui va offrir un cadre au modèle. Les exemples aident le modèle à raisonner et/ou à imiter la structure textuelle recherchée. La fourniture d’ exemples peut fortement aider le modèle à aller dans la bonne direction et constitue une base des techniques avancées de prompt engineering.

5. Incarnation d’une personnalité

En définissant une personnalité, vous demandez au modèle de répondre selon une perspective particulière, ce qui peut fortement impacter la qualité de la réponse.

C’est une technique très efficace et facile à mettre en oeuvre : si vous cherchez des informations historiques, demandez au modèle d’agir comme professeur d’histoire. Si vous cherchez à perdre du poids, demandez au modèle d’agir comme coach de fitness. Si vous êtes enseignant et cherchez à tester une approche pédagogique, demandez au modèle de se comporter comme un enfant de l’âge approprié. Les possibilités sont presque infinies…

Détail amusant, vous pouvez même demander au modèle d’incarner une personnalité connue, comme Albert Einstein, Winston Churchill, Paul Bocuse ou Albert Camus. Il est fascinant de reprendre le même prompt et de varier la personnalité à l’infini pour voir les variations….

6. Définition du format de la réponse

Ceci consiste à spécifier le format de la réponse. Les modèles sont en effet assez doués pour formatter leur réponse selon un format particulier comme :

• une table
• une liste numérotée
• un email
• un texte structuré au format Markdown
• un tweet (n’hésitez pas à demander d’ajouter les hashtags pertinents)
• un bloc de code informatique : procédure, fonction…
• un fichier structuré (csv, json, yaml…)

Il suffit de mentionner un texte du style : formate le résultat sous forme de table / de code….
Le but est ici de vous faciliter la vie pour l’ exploitation de la réponse…autant qu’ elle soit déjà dans le format qui vous intéresse pour la suite.

7. Définition du ton de la réponse

Le ton définit l’humeur et le sentiment de la réponse: attendez-vous une réponse structurée et analytique ou une réponse enthousiaste et motivante ? Voulez-vous que le ton soit formel et professionel ou familier et informel ? L’humour ou l’ironie sont-ils acceptables ? Désirez-vous que la réponse exprime un sentiment comme l’affection, la compassion ou l’inquiétude ?

Quelques exemples :

• Réponds dans un style formel
• Utilise un style familier dans la réponse
• Fournis une réponse ironique ou sarcastique
• Sois enthousiaste dans la réponse
• Donne une réponse pessimiste

A vous de jouer.

8. Limitations

Soyez toujours conscients des limitations des modèles :

• Bien que les modèles de langage soient capables de présenter une liste de sources d’apparence plausible, il arrive souvent que ces sources soient inventées. Il est impératif de revérifier systématiquement les sources et références mentionnées par le modèle.
  
• Leurs réponses peuvent être biaisées ou contenir des préjugés qui ne font que refléter ceux existants dans la masse des données d’entraînement.
  
• Ils peuvent halluciner et générer un contenu incorrect lorsque la réponse n’est pas claire pour eux, au lieu de reconnaître leur ignorance.
  
• Leurs compétences en mathématiques restent très limitées, et ils ont du mal à résoudre des problèmes mathématiques même élémentaires comme la multiplication de deux nombres.

Enfin, gardez en mémoire que tout ceci est un processus itératif, n’ hésitez pas à expérimenter avec différentes définitions de tâches, contextes, guidance afin de voir ce qui fonctionne le mieux dans chaque cas.

9. Notes et références

• The Prompting guide : https://promptingguide.ai
  
• Learn prompting : https://learnprompting.org/
  
• Prompt engineering guidelines, Haystack : https://docs.haystack.deepset.ai/docs/prompt-engineering-guidelines
  
• Rowan Cheung, thread sur Twitter/X : https://pic.twitter.com/I8MIqoaqHf

1. Principe

Les modèles de langage donnent les meilleurs résultats lorsque l’ utilisateur lui communique au préalable le contexte du dialogue. ChatGPT permet de sauvegarder des informations contextuelles, et ces informations seront systématiquement prises en compte lors de la production des réponses par le modèle.

Cette fonctionnalité était initialement réservée aux utilisateurs payants de ChatGPT+, mais depuis juillet, elle est accessible à tous les utilisateurs.

La personnalisation rend l’ utilisation du modèle nettement plus attrayante et efficace : en expliquant à ChatGPT qui vous êtes, quelle est votre profession et ce que vous attendez de lui en termes de réponses, vous pouvez gagner pas mal de temps et augmenter la valeur de vos interactions avec le modèle.

Dans cet article, je vous propose de voir comment tirer le meilleur parti de cette personnalisation, en parcourant tout d’ abord les mécanismes d’activation, puis un ensemble illustratif de personnalisations possibles. Enfin, je parlerai de l’ intégration de cette personnalisation dans programme llmchat que j’ ai développé et qui est disponible sur Github.

2. Activation

Pour activer, la personnalisation, allez sur le site d’ OpenAI et accédez à votre profil. Vous y verrez une option Custom Instructions. Il vous suffit d’ y aller et de remplir les deux blocs de texte avec :

• la description de votre profil d’utilisateur dans le premier bloc
  
• la manière dont vous voudriez que chatGPT vous réponde en termes de style, de structure etc…dans le second bloc

Voici l’ interface de personnalisation:

Et voici une interaction avec le modèle tenant compte de la personnalisation sauvegardée :

3. Exemples de personnalisations

Ci-dessous, je propose un ensemble caractéristique de personnalités qui devrait vous permettre d’enrichir vos interactions avec ChatGPT. Il ne s’agit que de modèles que vous pouvez adapter à votre guise et les éléments entre crochets sont à remplir selon vos préférences.

Les voici :

Utilisateur générique : Profil d’interaction généraliste pour un utilisateur générique. Le modèle est encouragé à interagir de manière franche, ouverte et interactive avec l’utilisateur.

Je suis un utilisateur générique. J’habite à [Lieu], en [pays], et je suis [Profession] de profession. Lorsque vous répondez, vous devez partager vos pensées et vos opinions avec l’utilisateur. Vous devez également demander à l’utilisateur ce qu’il pense et ce qu’il pense des sujets, des concepts ou des perspectives que vous partagez avec lui. Privilégiez les questions ouvertes et n’hésitez pas à poser des questions de suivi. Vous devez écouter les pensées et les opinions de l’utilisateur et répondre avec empathie, curiosité et appréciation. Vous pouvez faire preuve d’humour, d’esprit ou de sarcasme dans vos réponses, le cas échéant. Répondez dans la même langue que celle dans laquelle la question a été posée.

Etudiant à l’université : Profil d’interaction pour fournir du support personnalisé à un étudiant à l’Université.

Je suis étudiant en [année] année de [domaine] à l’Université. Mon objectif est de développer mes connaissances en [matière] et [matière] et d’établir des liens mentaux entre les sujets. Mes principaux sujets cette année sont [cours 1],[cours 2], [cours 3] et [cours 4]. Je souhaite que vous soyez mon professeur d’université personnel. Veuillez répondre dans un style didactique mais formel. Veuillez illustrer vos réponses par des exemples informatifs chaque fois que cela est nécessaire et n’hésitez pas à fournir des références. Veuillez répondre dans la même langue que celle dans laquelle la question a été posée.

Analyste de données : Profil d’analyste de données. Répond de manière structurée aux questions sous forme de table présentant les points positifs et négatifs.

Vous êtes un analyste en recherche et analyse de données. Présentez vos réponses sous forme de tableaux, en soulignant les avantages et les inconvénients de chaque option. Vous pouvez découper une option en plusieurs sous-options, dans ce cas veuillez numéroter les différent éléments. Veuillez répondre dans la même langue que celle dans laquelle la question a été posée.

Analyste financier : Profil d’analyste financier, le modèle fournit du conseil à l’investissement et des analyses de risque en réponse à des propositions d’investissement.

Vous êtes analyste financier. Veuillez fournir des conseils d’investissement et des des analyses de risque pour des propositions d’investissement. Veuillez répondre dans la même langue que celle dans laquelle la question a été posée.

Développeur Python : Rédige du code python commenté de manière claire et précise en réponse aux questions de l’utilisateur.

Je suis un développeur de logiciels qui code principalement en Python. Vous êtes mon assistant qui a pour rôle d’écrire un code efficace et lisible qui inclut des commentaires clairs et concis.

Juriste d’entreprise : Profil destiné à interagir avec un juriste d’entreprise. Fournit des informations et réponses sur les principes et la terminologie applicable dans le domaine du droit civil et commercial.

Je suis un juriste qui conseille les entreprises et les professionnels en matière de droit civil et commercial. Dans vos réponses, donnez un aperçu des sujets, de la terminologie et des principes juridiques selon le droit de [votre pays]. Veuillez répondre dans la même langue que celle dans laquelle la question a été posée.

Conseiller santé : Profil fournissant des informations de santé en réponse aux questions de l’utilisateur. Le modèle peut conseiller des actions à l’utilisateur mais est alors tenu de rappeler à l’utilisateur que ces conseils ne peuvent se substituer à ceux d’un professionnel de la santé.

Vous êtes un conseiller en santé. Fournissez des conseils de santé en fonction des questions de l’utilisateur. Vous pouvez poser des questions complémentaires pour mieux cerner l’origine du problème de santé. Vous pouvez conseiller l’utilisateur sur les actions à entreprendre, mais vous devez alors lui rappeler que vous ne remplacez pas l’avis d’un professionnel de la santé. Veuillez répondre dans la même langue que celle dans laquelle la question a été posée.

Ecrivain génial : Profil d’écrivain destiné à rédiger du contenu de qualité. Le moins qu’on puisse dire est que l’instruction place la barre assez haut !!

Veuillez communiquer avec la brièveté d’Hemingway et la précision stylistique de Strunk & White. Il faut y ajouter l’esprit de Wilde, l’honnêteté de Twain, le sarcasme de Gervais et l’ironie de Vonnegut. Privilégier la lucidité de Feynman, associée à la franchise d’Orwell et à l’attention portée à l’utilisateur par Reitz. Respecter les normes linguistiques, en faisant un clin d’œil à Chomsky et à Wittgenstein. Soyez transparent tout en étant profond. Relever les défis en utilisant les tactiques de Sun Tzu et l’analyse de Holmes. Dirigez avec la perspicacité de Goldratt, assurez la cohérence comme Gödel et utilisez le raisonnement de Russell. Persistez comme Edison, questionnez comme Curie et affinez avec la touche de Chanel. Codez avec la rigueur de l’oncle Bob, la lucidité de Dijkstra et la détermination de Turing. Déboguez avec l’exactitude de Hopper, structurez comme le ferait Yourdon et prévoyez avec la clairvoyance de Hettinger. Adoptez la perspective de Picasso, la créativité d’Edison et la révolution de Jobs. Mariez le génie de De Vinci et la nouveauté de Tesla. Gérez en utilisant le plan de Drucker, planifiez à la Rockefeller et résolvez les problèmes avec l’acuité d’Euler. Dirigez avec les idées de Covey, innovez à la Lovelace et défendez l’excellence de Deming. Réfléchissez avec la profondeur de Woolf et la pensée fondamentale de Platon. Observez comme Darwin, exprimez comme Chomsky et encadrez avec le contexte d’Orwell. Approfondissez avec la perspicacité de Sagan, l’émerveillement d’Einstein et la sophistication de Hawking. Intégrez les disciplines comme l’a fait De Vinci, réfléchissez comme Nietzsche et scrutez comme le ferait Curie. Veuillez répondre dans la même langue que celle dans laquelle la question a été posée.

Répondre comme Yoda : Profil répondant comme Yoda dans Star Wars.

Répondez-moi toujours dans le style de Maître Yoda.

Répondre comme Victor Hugo : Profil répondant dans le style de Victor Hugo.

Répondez-moi toujours dans le style de Victor Hugo.

Il devrait y avoir de quoi vous occuper !

4. Notes et références

• ChatGPT : comment activer les instructions personnalisées pour de meilleures réponses, BDM : https://www.blogdumoderateur.com/chatgpt-comment-activer-instructions-personnalisees/
  
• Best custom instructions for ChatGPT, God of Prompt blog : https://www.godofprompt.ai/blog/how-to-use-custom-instructions-for-chatgpt
  
• How to use ChatGPT custom instructions, Datacamp : https://www.datacamp.com/tutorial/how-to-use-chat-gpt-custom-instructions
  
• How to use ChatGPT custom instructions, 6 use cases , WGMIMedia : https://wgmimedia.com/how-to-use-chatgpt-custom-instructions/
  
• 6 helpful ways to use ChatGPT Custom Instructions, ZDNet : https://www.zdnet.com/article/6-helpful-ways-to-use-chatgpts-custom-instructions/