Ces questions rev\u00eatent une importance de plus en plus grande au fil des progr\u00e8s des mod\u00e8les : les mod\u00e8les se transforment progressivement en agents<\/em> avec une capacit\u00e9 directe d’ action dans le monde r\u00e9el : envoi d’ emails, achat de produits…cette d\u00e9l\u00e9gation sans cesse croissante cr\u00e9e une certaine urgence autour de ces questions de s\u00e9curit\u00e9 et d’ \u00e9thique.<\/p>\n\n\n\n La soci\u00e9t\u00e9 Anthropic<\/em>, qui a d\u00e9velopp\u00e9 les mod\u00e8les de langage Claude<\/em>, m\u00e8ne des recherches tr\u00e8s actives sur le sujet de l’ interpr\u00e9tabilit\u00e9 des mod\u00e8les de langage. Ils ont publi\u00e9 plusieurs articles sur le sujet que vous trouverez en r\u00e9f\u00e9rence, et leurs analyses mettent en \u00e9vidence des ph\u00e9nom\u00e8nes tr\u00e8s int\u00e9ressants.<\/p>\n\n\n\n Dans ce premier article, je vais me concentrer sur les recherches permettant d’ isoler l’ \u00e9mergence de concepts \u00ab\u00a0interpr\u00e9tables par des humains\u00a0\u00bb \u00e0 l’ int\u00e9rieur des mod\u00e8les de langage. La mani\u00e8re dont ces concepts sont articul\u00e9s et interconnect\u00e9s pour formuler une r\u00e9ponse coh\u00e9rente fera l’ objet de mon prochain article.<\/p>\n\n\n\n Les mod\u00e8les de langage utilisent l’ architecture des \u00ab\u00a0transformeurs\u00a0\u00bb d\u00e9finie par Google<\/em> en 2017 dans le c\u00e9l\u00e8bre article Attention is all you need<\/em>. Je me contenterai ici d’ une explication sommaire qui devrait suffire pour nos discussions sur l’ interpr\u00e9tabilit\u00e9, \u00e0 savoir :<\/p>\n\n\n\n Voici une illustration de cette logique, avec l’ architecture du r\u00e9seau \u00e0 gauche et la s\u00e9quence de vecteurs \u00e0 droite :<\/p>\n\n\n Pour \u00eatre complet, chaque couche se comporte de deux sous-couches; la premi\u00e8re, appel\u00e9e couche d’ attention<\/em> va combiner et enrichir le vecteur avec les informations contenues dans les autres vecteurs de la s\u00e9quence. La seconde, appel\u00e9e MLP (Multilayer Perceptron)<\/em> est un r\u00e9seau neuronal classique qui va transformer chacun des vecteurs de la s\u00e9quence apr\u00e8s avoir \u00e9t\u00e9 enrichis par la couche d’ attention. La couche MLP applique la m\u00eame transformation \u00e0 chacun des vecteurs de la s\u00e9quence.<\/p>\n\n\n\n Ceci est illustr\u00e9 dans la figure 2. Il y a une petite astuce : la couche d’ attention est commune, tandis que la couche MLP s’ applique individuellement \u00e0 chacun des vecteurs \u00ab\u00a0enrichis\u00a0\u00bb fournis par la couche d’ attention.<\/p>\n\n\n Aller dans le d\u00e9tail de cette architecture d\u00e9passe largement le cadre de cet article et si vous voulez en avoir une compr\u00e9hension plus approfondie, je vous conseille soit de lire le paper<\/em> de Google, soit de lire l’ excellent article de vulgarisation de Jay Alammar \u00ab\u00a0The Illustrated Transformer\u00a0\u00bb accessible ici<\/a>.<\/p>\n\n\n\n Ce que j’ ai voulu faire ressortir de cette architecture, c’ est la centralit\u00e9 de l’ espace de repr\u00e9sentation. En fin de compte, le transformeur ne fait qu’ enrichir et transformer successivement des vecteurs dans cet espace. Pour vous donner une id\u00e9e, la dimension de cet espace varie d’ un mod\u00e8le \u00e0 l’ autre; Anthropic<\/em> ne publie pas cette information mais pour OpenAI<\/em> ChatGPT-4o on sait que l’ espace de repr\u00e9sentation compte 1.536 dimensions.<\/p>\n\n\n\n L’ hypoth\u00e8se que les chercheurs d’ Anthropic<\/em> ont pu v\u00e9rifier, c’ est que les concepts intelligibles pour les humains correspondent \u00e0 des directions dans cet espace de repr\u00e9sentation. Ceci avait d\u00e9j\u00e0 \u00e9t\u00e9 \u00e9tabli pour d’ autres mod\u00e8les d’ apprentissage linguistique comme les \u00ab\u00a0word embeddings\u00a0\u00bb mais pas encore pour les mod\u00e8les de langage.<\/p>\n\n\n\n Dans un monde id\u00e9al, les diff\u00e9rents axes de cet espace de repr\u00e9sentation correspondraient directement \u00e0 des concepts intelligibles par l’ homme. Les coefficients des vecteurs indiqueraient alors la pr\u00e9sence ou l’ absence de ces concepts. Mais est-ce le cas ? Non, ce serait trop simple. En fait, les axes de cet espace sont des concepts abstraits, mais pas intelligibles par l’ homme, et donc non interpr\u00e9tables.<\/p>\n\n\n\n Pourquoi ? Une explication intuitive est que 1.536 est un nombre bien trop petit pour repr\u00e9senter l’ ensemble des concepts auxquels le r\u00e9seau a \u00e9t\u00e9 confront\u00e9 pendant l’ entra\u00eenement. Les concepts vont donc se retrouver \u00ab\u00a0m\u00e9lang\u00e9s\u00a0\u00bb dans cet espace (math\u00e9matiquement, il s’ agira d’ un ensemble de vecteurs lin\u00e9airement d\u00e9pendants vu la trop faible dimension de l’ espace). Cette situation rend impossible l’ extraction de concepts intelligibles par une op\u00e9ration vectorielle \u00e9l\u00e9mentaire de type projection.<\/p>\n\n\n\n Mais il y a un moyen de s’ en sortir, c’ est de combattre le mal par le mal et de faire appel \u00e0 un autre algorithme d’ apprentissage machine pour extraire les concepts. Cet algorithme s’ appelle le \u00ab\u00a0Dictionary Learning\u00a0\u00bb.<\/p>\n\n\n\n L’ id\u00e9e en est la suivante : nous allons entra\u00eener un nouveau r\u00e9seau de neurones en trois couches de la mani\u00e8re suivante :<\/p>\n\n\n\n La premi\u00e8re contrainte \u00e0 elle seule peut para\u00eetre \u00e9trange, mais elle permet d’ intercaler le nouveau mod\u00e8le au milieu du mod\u00e8le original sans en perturber le fonctionnement. Et la couche interm\u00e9diaire, une fois entra\u00een\u00e9e, va se comporter comme un \u00ab\u00a0dictionnaire\u00a0\u00bb de concepts, chacun des neurones de cette couche repr\u00e9sentant un concept activ\u00e9 individuellement.<\/p>\n\n\n\n Le nombre de concepts est donc \u00e9gal au nombre de neurones de cette couche. Et cela fonctionne car au fil de l’ entra\u00eenement, ce mod\u00e8le va chercher \u00e0 identifier les concepts pr\u00e9sents dans l’ espace de repr\u00e9sentation et les encoder dans un seul neurone de la couche interm\u00e9diaire.<\/p>\n\n\n\n Voici une illustration de cet algorithme:<\/p>\n\n\n Nous y sommes presque ! Il ne reste plus qu’\u00e0 appliquer ce syst\u00e8me de Dictionary Learning s\u00e9par\u00e9ment pour chacune des couches, ce qui ne vas pas perturber le contionnement du mod\u00e8le de langage puisque les couches de Dictionary Learning<\/em> sont transparentes (sortie = entr\u00e9e). Et voici le mod\u00e8le final avec les \u00ab\u00a0sondes\u00a0\u00bb d’ analyse implant\u00e9es :<\/p>\n\n\n Nous y sommes enfin. C’ est ce qu’ ont fait les chercheurs d’ Anthropic<\/em> avec leur mod\u00e8le Claude 3.0 et ils ont ainsi identifi\u00e9 environ 30 millions de concepts sur l’ ensemble des couches du mod\u00e8le.<\/p>\n\n\n\n Maintenant que notre appareillage de mesure des concepts est en place, il est possible d’ analyser les concepts activ\u00e9s par des textes sp\u00e9cifiques. Et l\u00e0, miracle, des concepts intelligibles par l’ homme apparaissent !<\/p>\n\n\n\n Parmi ces concepts, les chercheurs ont identifi\u00e9 une grande diversit\u00e9 de caract\u00e9ristiques abstraites. Il y a des \u00e9l\u00e9ments relatifs aux personnes c\u00e9l\u00e8bres, aux pays et aux villes. Il y a aussi des \u00e9l\u00e9ments relatifs \u00e0 des concepts abstraits comme les erreurs de programmation ou l’ addition ou encore des notions pratiques comme la pr\u00e9sence de caract\u00e8res cor\u00e9ens dans le texte.<\/p>\n\n\n\n De nombreuses caract\u00e9ristiques sont multilingues (elles r\u00e9pondent au m\u00eame concept dans plusieurs langues) et multimodales (elles r\u00e9pondent au m\u00eame concept dans du texte et des images), et englobent \u00e0 la fois des instanciations abstraites et concr\u00e8tes de la m\u00eame id\u00e9e (comme du code pr\u00e9sentant des failles de s\u00e9curit\u00e9 et des discussions abstraites sur les failles de s\u00e9curit\u00e9).<\/p>\n\n\n\n Voici par exemple le neurone \u00ab\u00a0Golden Gate\u00a0\u00bb qui est activ\u00e9 par des textes parlant du Golden Gate. Vous pouvez voir dans la figure ci-dessous l’ influence relative des diff\u00e9rents tokens<\/em> du texte d’ entr\u00e9e dans l’ activation du concept \u00ab\u00a0Golden Gate\u00a0\u00bb :<\/p>\n\n\n Au total de nombreux concepts intelligibles ont \u00e9t\u00e9 mis \u00e0 jour par les chercheurs et vous en trouverez une liste compl\u00e8te ici<\/a>. Et voici une illustration de quelques autres concepts identifi\u00e9s :<\/p>\n\n\n On ne peut que rester \u00e9tonn\u00e9 par la richesse et la diversit\u00e9 des concepts identifi\u00e9s. Et ce n’ est pas tout, il est aussi possible de manipuler les concepts en modifiant les valeurs d’ activation des neurones \u00e0 la main ce qui donne des effets tr\u00e8s int\u00e9ressants comme la vid\u00e9o qui suit le montre :<\/p>\n\n\n\nUn petit mot sur l’ architecture des \u00ab\u00a0transformeurs\u00a0\u00bb<\/h2>\n\n\n\n
\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n
<\/li>\n\n\n\n![\"\"](\"https:\/\/artificiellementintelligent.eu\/wp-content\/uploads\/2025\/06\/image-20250609a.png\")
![\"\"](\"https:\/\/artificiellementintelligent.eu\/wp-content\/uploads\/2025\/06\/image-20250609b.png\")
La question de l’ espace de repr\u00e9sentation<\/h2>\n\n\n\n
Le Dictionary Learning<\/em> \u00e0 la rescousse<\/h2>\n\n\n\n
\n
<\/li>\n\n\n\n![\"\"](\"https:\/\/artificiellementintelligent.eu\/wp-content\/uploads\/2025\/06\/image-20250609c.png\")
![\"\"](\"https:\/\/artificiellementintelligent.eu\/wp-content\/uploads\/2025\/06\/image-20250609d.png\")
Le neurone \u00ab\u00a0Golden Gate\u00a0\u00bb<\/strong><\/h2>\n\n\n\n
![\"\"](\"https:\/\/artificiellementintelligent.eu\/wp-content\/uploads\/2025\/06\/image-20250609e.png\")
![\"\"](\"https:\/\/artificiellementintelligent.eu\/wp-content\/uploads\/2025\/06\/image-20250609f.png\")