Artificiellement Intelligent

Rendre l' IA accessible à tous

Catégorie : Conceptuel

Posts techniques décrivant les principes conceptuels du fonctionnement des modèles IA

Dans le cerveau des modèles de langage, deuxième partie : les raisonnements

30 juin 2025 / / 0 Comments

Nous avons vu dans l’ article précédent comment les chercheurs d’ Anthropic ont réussi à modifier un de leurs modèles de langage pour faire apparaître des concepts interprétables au sein des différentes couches du modèle.

Ces recherches, qui remontent à 2024, constituent une première étape. Mais les chercheurs d’ Anthropic sont allés plus loin et ont cherché à comprendre comment ces concepts se combinent dans un modèle pour échafauder une réponse plausible à la demande de l’ utilisateur.

C’ est ce que je vais tenter de vous expliquer dans cet article, et comme vous le verrez, cela apporte pas mal d’ enseignements très intéressants sur le fonctionnement intime des modèles.

Comment tracer les pensées du modèle ?

Nous avons vu dans l’ article précédent comment les chercheurs avaient réussi à adjoindre une sous-couche « interprétable » à chaque couche du modèle, ce qui permettait d’ identifier et de localiser un ensemble de concepts. Mais ce mécanisme ne permettait pas encore de comprendre comment ces concepts s’ articulent en une réflexion cohérente.

Pour pouvoir tracer les pensées du modèle, les chercheurs ont créé un modèle de substitution plus riche que celui présenté dans l’ article précédent:

  • chaque couche du modèle original est remplacée par une couche interprétable équivalente, appelée couche de transcodage;
  • chaque couche de transcodage agit non seulement sur la prochaine couche du modèle mais aussi les couches suivantes. Ceci permet à une caractéristique interprétable située en amont du modèle d’ agir directement sur une autre caractéristique interprétable située n’ importe où en aval.

Ceci mène au modèle de substitution présenté dans la figure 1.

Figure 1 : Du modèle original au modèle de remplacement

Une fois que ce modèle de remplacement a été correctement entraîné, on va pouvoir lui soumettre un texte d’ entrée et voir quelles sont les caractéristiques interprétables qui sont activées par la question, mais aussi comment ces caractéristiques s’ influencent mutuellement pour aboutir à la formation de la réponse.

En fait le « truc » est toujours le même : on remplace un modèle par un autre qui fait la même chose mais dans lequel on peut mesurer ce qui nous intéresse. Parce que les informaticiens ont un grand avantage sur les biologistes : tous les calculs intermédiaires sont accessibles et tout est mesurable !

Le résultat de ces mesures se présente sous la forme de graphes d’attribution, une représentation graphique des étapes de calcul utilisées par le modèle pour déterminer le texte de sortie pour un texte d’ entrée particulier.

Voici un exemple de graphe d’ attribution simple pour vous donner une idée de ce que cela signifie :

Figure 2 : Un graphe d’ attribution élémentaire (source : Anthropic)

Voyons maintenant quelques découvertes intéressantes que les chercheurs ont faites en analysant les graphes d’ attribution générés pour des textes d’ entrée judicieusement choisis…

Découverte 1 : les modèles ne dévoilent pas toujours leurs pensées

C’ est la première question à se poser : demandez au modèle d’ expliquer chaque étape de son raisonnement (chain of thought prompting). L’ explication fournie correspond-elle systématiquement au raisonnement intérieur du modèle?

Parce que si c’ est le cas, pas besoin de faire toutes ces recherches, il suffit de demander au modèle d’ expliciter son raisonnement. Malheureusement, ce n’ est pas ce que les chercheurs ont découvert.

Prenons un exemple simple de calcul mental. Les chercheurs ont demandé au modèle combien font 36+59. Ils ont découvert que le modèle utilise « en interne » un double chaîne de raisonnement, la première cherchant une réponse approximative et la seconde se limitant à calculer le chiffre des unités; les deux sont ensuite combinés pour estimer une réponse. A noter que c’ est assez proche de ce que nous faisons intuitivement en calcul mental.

Voici le graphe d’ attribution correspondant :

Figure 3 : Graphe d’ attribution pour un calcul élémentaire (source : Anthropic)

Mais quand on demande au modèle d’ expliquer son raisonnement, il explique l’ algorithme standard d’addition écrite avec le report des unités sur les dizaines. Ce qui est un tout autre mécanisme !

Figure 4 : Explication fournie par le modèle (source : Anthropic)

Plus généralement, les chercheurs ont remarqué que le modèle décrit son raisonnement correctement dans certains cas, mais ce n’ est pas systématique.

Par exemple, lorsqu’ on lui demande de calculer le cosinus d’un grand nombre qu’ il ne peut pas calculer facilement, le modèle se livre parfois à ce que les chercheurs appellent du bullshitting (!), c’est-à-dire qu’ il donne une réponse, n’ importe laquelle, sans se soucier de savoir si elle est vraie ou fausse. Même s’ il prétend avoir effectué un calcul, les techniques d’ interprétabilité ne révèlent aucune preuve de l’ existence de ce calcul !

Autre cas intéressant, lorsqu’ on lui donne un calcul ainsi que sa réponse et on lui demande d’ expiquer comment trouver le résultat, le modèle travaille parfois à rebours, trouvant des étapes intermédiaires qui mèneraient à cette cible, faisant ainsi preuve d’ une forme de raisonnement motivé. D’ autant plus qu’ il n’ hésite pas à faire aussi cela lorsque la réponse qu’ on lui donne est fausse !

Bref, on ne peut pas considérer les explications et justifications du modèle comme transparentes et une analyse « intrusive » est nécessaire pour comprendre ce qui se passe réellement dans sa « tête ». C’ est bien dommage mais c’ est comme ça.

Découverte 2 : le modèle possède un seul modèle cognitif multilingue

Ceci est, pour moi, remarquable : le modèle semble posséder un espace conceptuel unique qui est partagé entre les différentes langues, ce qui suggère qu’il possède une sorte de « langage de pensée » universel.

En effet, comme l’ entraînement des modèles se fait sur un ensemble de textes en grande majorité individuellement unilingues, on pourrait imaginer que ces modèles contiennent en leur sein une série de mini-modèles conceptuels indépendants, chaque langue créant sa propre réalité intérieure au fil de l’ entraînement.

Au contraire, les chercheurs d’ Anthropic ont montré qu’ il n’ existe pas de «modèle français» ni de «modèle chinois» fonctionnant en parallèle et répondant aux demandes dans leur propre langue.

Ils ont demandé au modèle le « contraire de petit » dans différentes langues, les mêmes caractéristiques fondamentales des concepts de petitesse et d’ opposition s’ activent pour déclencher un concept de grandeur, qui est finalement traduit dans la langue de la question.

Figure 5 : Le modèle conceptuel multilingue (source: Anthropic)

D’ un point de vue pratique, cela suggère que les modèles peuvent apprendre quelque chose dans une langue et appliquer ces connaissances lorsqu’ ils conversent dans une autre langue, ce qui est tout à fait positif et très important à comprendre.

Découverte 3 : le modèle planifie sa réponse plusieurs mots à l’ avance

L’ algorithme de base des modèles de langage repose sur une prédiction mot à mot. Mais le modèle planifie-t’ il plus loin que le prochain mot ? A-t’ il une idée « derrière la tête » quand il fait sa prédiction ?

Un bon cas pour tester ceci est la rédaction d’ un poème. En effet, pour écrire un poème, il faut satisfaire à deux contraintes en même temps : les vers doivent rimer et ils doivent avoir un sens. Il y a deux façons d’ imaginer comment un modèle y parvient :

  • l’ improvisation pure – le modèle pourrait écrire le début de chaque ligne sans se soucier de la nécessité de rimer à la fin. Puis, au dernier mot de chaque ligne, il choisirait un mot qui (1) a un sens compte tenu de la ligne qu’il vient d’écrire et (2) correspond au schéma de rimes;
  • la planification – le modèle peut également adopter une stratégie plus sophistiquée. Au début de chaque ligne, il pourrait imaginer le mot qu’ il prévoit d’ utiliser à la fin, en tenant compte du schéma de rimes et du contenu des lignes précédentes. Il pourrait ensuite utiliser ce « mot prévu » pour rédiger la ligne suivante, de manière à ce que le mot prévu s’ insère naturellement à la fin de la ligne.

Lequel des deux modèles est correct ? Vu l’ algorithme des modèles de langage, on pourrait pencher pour la première hypothèse. C’ était d’ ailleurs ce que pensaient des chercheurs au début de leurs recherches. Et pourtant, ils ont trouvé des éléments suggérant clairement que le modèle fait de la planification plusieurs mots à l’ avance…

Comme on peut le voir sur la figure 6, le modèle planifie à l’ avance plusieurs possibilités pour le mot final de la ligne, et planifie ensuite le reste de la ligne « à l’envers » pour que cette dernière soit cohérente.

Figure 6 : Planification direct et inverse d’ une rime (source: Anthropic)

Les chercheurs ont également modifié les concepts en cours d’ élaboration de la rime. Le modèle prévoyait de terminer sa ligne par « rabbit » mais si l’ on annule ce concept en cours de route voire le remplace par un autre, le modèle change de rime.

Figure 7 : Modification du concept final en cours de rime (source: Anthropic)

Ceci montre que les modèles préparent leurs réponses plusieurs mots à l’ avance, et sont non seulement capbles de planifier vers l’ avant mais aussi vers l’ arrière (rétro-planning) quand c’ est nécessaire. Les modèles sont aussi capables de planifications multiples en parallèle, et il est possible d’ intervenir directement sur ces plans en cours de route en modifiant les concepts sous-jacents.

Conclusion

Ces recherches lèvent un coin du voile sur ce qui se passe réellement au sein des modèles de langage. Il me semble clair que ces recherches ne sont qu’ à leurs débuts et que beaucoup de choses sont encore à découvrir dans le domaine de l’ interprétabilité.

Si vous voulez en savoir plus sur ce sujet, je ne puis que vous suggérer de lire directement l’ article On the Biology of a Large Language Model que je cite ci-dessous en référence. Les chercheurs y présentent douze traces de raisonnement différentes apportant chacune son lot d’ enseignements…

Pour ma part, ce qui me fascine le plus, ce sont les analogies évidentes entre la manière dont ces modèles « réfléchissent » et la manière dont nous le faisons…

Sources et références

Dans le cerveau des modèles de langage, première partie : les idées

9 juin 2025 / / 0 Comments

Un fait surprenant concernant les modèles de langage est que personne ne comprend vraiment comment ils fonctionnent en interne. Ne pas être en mesure de reconstruire de manière déductive les étapes « mentales » à travers lesquelles passe le modèle pour échafauder sa réponse pose des problèmes de sécurité et d’ éthique.

En effet, comment s’ assurer qu’ un modèle répond de manière transparente et ne nous ment pas ou ne poursuit pas un objectif différent de celui que nous lui avons assigné ? Et si nous lui demandons d’ expliciter une décision, va-t’ il expliquer les étapes de son raisonnement ou fournir une justification a posteriori sans relation avec son processus interne initial ? Un modèle pourrait-il nous mentir délibérément si nous le mettons dans une position contradictoire en lui demandant d’ aller à l’ encontre de ses instructions ? Jusqu’ où peut-on être sûr que certaines prohibitions seront respectées ?

Ces questions revêtent une importance de plus en plus grande au fil des progrès des modèles : les modèles se transforment progressivement en agents avec une capacité directe d’ action dans le monde réel : envoi d’ emails, achat de produits…cette délégation sans cesse croissante crée une certaine urgence autour de ces questions de sécurité et d’ éthique.

La société Anthropic, qui a développé les modèles de langage Claude, mène des recherches très actives sur le sujet de l’ interprétabilité des modèles de langage. Ils ont publié plusieurs articles sur le sujet que vous trouverez en référence, et leurs analyses mettent en évidence des phénomènes très intéressants.

Dans ce premier article, je vais me concentrer sur les recherches permettant d’ isoler l’ émergence de concepts « interprétables par des humains » à l’ intérieur des modèles de langage. La manière dont ces concepts sont articulés et interconnectés pour formuler une réponse cohérente fera l’ objet de mon prochain article.

Un petit mot sur l’ architecture des « transformeurs »

Les modèles de langage utilisent l’ architecture des « transformeurs » définie par Google en 2017 dans le célèbre article Attention is all you need. Je me contenterai ici d’ une explication sommaire qui devrait suffire pour nos discussions sur l’ interprétabilité, à savoir :

  • les « transformeurs » sont structurés en couches successives;
  • une couche d’ entrée découpe le texte du « prompt » en tokens puis transforme ces derniers séquence de vecteurs dans un espace de représentation. Ces vecteurs sont des représentations numériques des mots du texte, et la séquence de vecteurs correspond à la séquence de mots du prompt;
  • les autres couches du modèle transforment cette séquence de vecteurs de manière itérative, couche par couche. Les couches sont architecturalement identiques mais contiennent des paramètres de transformation différents qui ont été définis chacun lors de l’ apprentissage (ce sont les fameux « milliards » de coefficients);
  • enfin, la couche de sortie est semblable aux autres sauf qu’ au lieu de transformer la séquence de vecteurs, elle va générer une distribution de probabilités sur le prochain token à ajouter à la séquence (prédiction du prochain mot).

Voici une illustration de cette logique, avec l’ architecture du réseau à gauche et la séquence de vecteurs à droite :

Figure 1 : Architecture et flux de données d’ un transformeur

Pour être complet, chaque couche se comporte de deux sous-couches; la première, appelée couche d’ attention va combiner et enrichir le vecteur avec les informations contenues dans les autres vecteurs de la séquence. La seconde, appelée MLP (Multilayer Perceptron) est un réseau neuronal classique qui va transformer chacun des vecteurs de la séquence après avoir été enrichis par la couche d’ attention. La couche MLP applique la même transformation à chacun des vecteurs de la séquence.

Ceci est illustré dans la figure 2. Il y a une petite astuce : la couche d’ attention est commune, tandis que la couche MLP s’ applique individuellement à chacun des vecteurs « enrichis » fournis par la couche d’ attention.

Figure 2 : Détail d’ une couche du transformeur

Aller dans le détail de cette architecture dépasse largement le cadre de cet article et si vous voulez en avoir une compréhension plus approfondie, je vous conseille soit de lire le paper de Google, soit de lire l’ excellent article de vulgarisation de Jay Alammar « The Illustrated Transformer » accessible ici.

La question de l’ espace de représentation

Ce que j’ ai voulu faire ressortir de cette architecture, c’ est la centralité de l’ espace de représentation. En fin de compte, le transformeur ne fait qu’ enrichir et transformer successivement des vecteurs dans cet espace. Pour vous donner une idée, la dimension de cet espace varie d’ un modèle à l’ autre; Anthropic ne publie pas cette information mais pour OpenAI ChatGPT-4o on sait que l’ espace de représentation compte 1.536 dimensions.

L’ hypothèse que les chercheurs d’ Anthropic ont pu vérifier, c’ est que les concepts intelligibles pour les humains correspondent à des directions dans cet espace de représentation. Ceci avait déjà été établi pour d’ autres modèles d’ apprentissage linguistique comme les « word embeddings » mais pas encore pour les modèles de langage.

Dans un monde idéal, les différents axes de cet espace de représentation correspondraient directement à des concepts intelligibles par l’ homme. Les coefficients des vecteurs indiqueraient alors la présence ou l’ absence de ces concepts. Mais est-ce le cas ? Non, ce serait trop simple. En fait, les axes de cet espace sont des concepts abstraits, mais pas intelligibles par l’ homme, et donc non interprétables.

Pourquoi ? Une explication intuitive est que 1.536 est un nombre bien trop petit pour représenter l’ ensemble des concepts auxquels le réseau a été confronté pendant l’ entraînement. Les concepts vont donc se retrouver « mélangés » dans cet espace (mathématiquement, il s’ agira d’ un ensemble de vecteurs linéairement dépendants vu la trop faible dimension de l’ espace). Cette situation rend impossible l’ extraction de concepts intelligibles par une opération vectorielle élémentaire de type projection.

Le Dictionary Learning à la rescousse

Mais il y a un moyen de s’ en sortir, c’ est de combattre le mal par le mal et de faire appel à un autre algorithme d’ apprentissage machine pour extraire les concepts. Cet algorithme s’ appelle le « Dictionary Learning ».

L’ idée en est la suivante : nous allons entraîner un nouveau réseau de neurones en trois couches de la manière suivante :

  • le réseau doit être capable de générer en sortie les mêmes réponses que celles en entrée (transformation identité). La première et la troisième couche ont donc la même dimension, celle de l’ espace de représentation;
  • nous allons contraindre ce réseau à avoir une couche intermédiaire (la seconde) de beaucoup plus grande taille et pour laquelle le nombre de paramètres actifs à tous moment est très faible (idéalement 1). C’est ce qu’ on appelle une couche « sparse » (éparse).

La première contrainte à elle seule peut paraître étrange, mais elle permet d’ intercaler le nouveau modèle au milieu du modèle original sans en perturber le fonctionnement. Et la couche intermédiaire, une fois entraînée, va se comporter comme un « dictionnaire » de concepts, chacun des neurones de cette couche représentant un concept activé individuellement.

Le nombre de concepts est donc égal au nombre de neurones de cette couche. Et cela fonctionne car au fil de l’ entraînement, ce modèle va chercher à identifier les concepts présents dans l’ espace de représentation et les encoder dans un seul neurone de la couche intermédiaire.

Voici une illustration de cet algorithme:

Figure 3 : Algorithme de Dictionary Learning

Nous y sommes presque ! Il ne reste plus qu’à appliquer ce système de Dictionary Learning séparément pour chacune des couches, ce qui ne vas pas perturber le contionnement du modèle de langage puisque les couches de Dictionary Learning sont transparentes (sortie = entrée). Et voici le modèle final avec les « sondes » d’ analyse implantées :

Figure 4 : Modèle final avec sondes d’ analyse conceptuelle

Nous y sommes enfin. C’ est ce qu’ ont fait les chercheurs d’ Anthropic avec leur modèle Claude 3.0 et ils ont ainsi identifié environ 30 millions de concepts sur l’ ensemble des couches du modèle.

Maintenant que notre appareillage de mesure des concepts est en place, il est possible d’ analyser les concepts activés par des textes spécifiques. Et là, miracle, des concepts intelligibles par l’ homme apparaissent !

Le neurone « Golden Gate »

Parmi ces concepts, les chercheurs ont identifié une grande diversité de caractéristiques abstraites. Il y a des éléments relatifs aux personnes célèbres, aux pays et aux villes. Il y a aussi des éléments relatifs à des concepts abstraits comme les erreurs de programmation ou l’ addition ou encore des notions pratiques comme la présence de caractères coréens dans le texte.

De nombreuses caractéristiques sont multilingues (elles répondent au même concept dans plusieurs langues) et multimodales (elles répondent au même concept dans du texte et des images), et englobent à la fois des instanciations abstraites et concrètes de la même idée (comme du code présentant des failles de sécurité et des discussions abstraites sur les failles de sécurité).

Voici par exemple le neurone « Golden Gate » qui est activé par des textes parlant du Golden Gate. Vous pouvez voir dans la figure ci-dessous l’ influence relative des différents tokens du texte d’ entrée dans l’ activation du concept « Golden Gate » :

Figure 5 : Le concept « Golden Gate » (source : Anthropic)

Au total de nombreux concepts intelligibles ont été mis à jour par les chercheurs et vous en trouverez une liste complète ici. Et voici une illustration de quelques autres concepts identifiés :

Figure 6 : Quelques autres concepts identifiés (source : Anthropic)

On ne peut que rester étonné par la richesse et la diversité des concepts identifiés. Et ce n’ est pas tout, il est aussi possible de manipuler les concepts en modifiant les valeurs d’ activation des neurones à la main ce qui donne des effets très intéressants comme la vidéo qui suit le montre :

La manipulation des concepts internes des modèles entraîne des modifications des réponses du modèle qui vont dans le sens des modifications apportés aux concepts.

Les chercheurs d’ Anthropic ont donc réussi à prouver la correspondance entre les concepts internes des modèles et les concepts intelligibles que l’ on peut observer dans les deux directions : a) si le concept est présent dans le texte d’ entrée, le concept interne est activé et b) si le concept interne est activé manuellement, le concept intelligible est présent dans le texte de sortie.

Ceci valide le fait que ces concepts font partie intégrante de la représentation interne du monde que contient le modèle, et de la façon dont il utilise ces représentations dans la construction d’ une réponse.

Lien avec la sécurité et l’ alignement des modèles

Ces recherches visent à rendre les modèles sûrs au sens large. Il est donc particulièrement intéressant de constater que les chercheurs d’ Anthropic ont trouvé des caractéristiques correspondant à des concepts sensibles comme :

  • la notion de courriel de « spam »;
  • des capacités au potentiel néfaste : hacking informatique, développement d’ armes biologiques;
  • différentes formes de biais et de discrimination;
  • des notions de comportements problématiques par l’ IA : recherche de puissance, manipulation, dissimulation, hypocrisie.
Figure 7 : Exemples de concepts « sensibles » identifiés (source : Anthropic)

En manipulant adroitement ces concepts, il devrait donc être possible de modifier le comportement du modèle dans le sens souhaité.

Les chercheurs d’ Anthropic espèrent que ces découvertes permettront de rendre les modèles plus sûrs. Par exemple, afin de détecter certains comportements dangereux (comme tromper l’utilisateur), de les orienter vers des résultats souhaitables (débiaisage) ou d’éliminer complètement certains sujets dangereux (armes biologiques, hacking..).

Pour conclure

Nous venons de voir comment il est possible d’ isoler et d’ interpréter les composants d’ un modèle de langage lorsqu’ ils sont activés par une question de l’ utilisateur. Ces recherches ont été effectuées par Anthropic en 2024.

Reste à voir comment ces concepts s’ organisent ensemble pour créer une pensée et une réponse cohérentes de la part du modèle. Anthropic a continué ses recherches et vient de publier le résultat de nouvelles recherches à ce sujet.

C’ est ce que je vous propose d’ analyser dans mon prochain article, parce que cet article est déjà largement assez long comme cela !

Sources et références

Les modèles raisonneurs

22 décembre 2024 /

Le modèle o1 d’ OpenAI est maintenant disponible et il représente un changement important dans le fonctionnement et les capacités des modèles de langage.

La mise à disposition de ce modèle fait suite à des rumeurs persistantes autour d’ un modèle « disruptif » développé en secret par OpenAI d’ abord appelé Q-star puis Strawberry. Ces modèles sont importants parce qu’ ils constituent une tentative de transition de la réflexion immédiate et intuitive vers un raisonnement plus lent et plus délibéré.

Cette dualité se retrouve dans les modes de fonctionnement de notre cerveau. Comme l’ a indiqué le psychologue Daniel Kahnemann dans son livre Thinking, Fast and Slow, nos pensées procèdent selon deux schémas différents :

  • Le Système 1 est une réponse rapide, automatique, inconsciente et émotionnelle de notre cerveau à des situations et à des stimuli. Il peut s’ agir de lire distraitement un texte sur un panneau d’ affichage, de savoir nouer ses lacets sans réfléchir ou de sauter instinctivement par-dessus une flaque d’ eau sur le trottoir. Nous fonctionnons 95% du temps dans ce mode, qui correspond au mode par défaut et automatique de notre cerveau.
  • Le Système 2 est un mode lent, laborieux et logique dans lequel notre cerveau opère pour résoudre des problèmes plus compliqués. Par exemple, la pensée du système 2 est utilisée pour chercher un ami dans une foule, garer son véhicule dans un espace restreint ou déterminer le rapport qualité/prix de son repas à emporter. Il s’ agit d’un mécanisme de raisonnement logique activé délibérément et consciemment.
Figure 1 : Les deux modèles de fonctionnement du cerveau (source : Daniel Kahnemann)

Or, disposer de modèles capables de fonctionner selon le système 2 est essentiel pour pouvoir évoluer vers des agents IA plus fiables et plus autonomes, comme je l’ avais expliqué dans un article précédent accessible ici: les modèles « raisonneurs » sont une étape importante vers l’ Intelligence Artificielle Générale.

Pour faire simple, OpenAI a appris à un modèle de langage à réfléchir avant de parler. Voyons comment.

1. Mécanismes de raisonnement

Nous ne savons pas précisément comment OpenAI a entraîné le modèle o1. Néamnoins, les grands principes de l’ approche sont connus. Trois phases successives vont transformer un modèle de langage classique comme GPT-4o vers un modèle de raisonnement comme o1.

Lors de la première phase, le modèle « classique » est confronté à une série de problèmes logiques et il lui est demandé de développer son raisonnement étape par étape avant d’ arriver à la solution. Il s’ agit d’ une méthode de prompt engineering appelée Chain of Thought prompting (CoT) et décrit ici. En transformant la question en un ensemble d’ étapes de raisonnement de plus faible complexité, on augmente la probabilité que le modèle ait été confronté lors de son entraînement à des déductions élementaires analogues et qu’ il puisse donc effectuer les sauts logiques correspondants par corrélation.

Figure 2 : Chain of Thought Prompting (source : Wei et al., 2022)

Une fois ces chaînes générées, elles sont évaluées en fonction de leur pertinence tant au niveau de la réponse finale que du chemin logique suivi pour y parvenir. L’ évaluation peut être faite à la main (fastidieux) ou de manière automatisée. En pratique, on va débuter par une série d’ évaluations faites à la main pour entraîner un modèle d’ évaluation automatique, séparé du modèle de langage, qui prendra ensuite le relais et rendra le processus beaucoup plus efficace.

Lors de la seconde phase, les chaînes logiques générées lors de la première phase ainsi que leurs scores de pertinence sont utilisés pour entraîner le modèle (affinage) afin de privilégier les chaînes qui obtiennent la bonne réponse et défavoriser celles qui échouent. A l’ issue de cet affinage, nous disposons d’un modèle amélioré qui cherchera à répondre par étapes logiques à toute question de l’utilisateur, ce qui constitue déjà un grand pas dans la bonne direction.

Cependant, à ce stade, le modèle reste un modèle de langage « classique »: il génère une chaîne de raisonnement unique -certes améliorée- au fil de sa génération textuelle et présente ensuite le résultat à l’ utilisateur quelle qu’ en soit la pertinence. L’ effort déployé par le modèle reste aussi le même quelle que soit la complexité de la question, ce qui n’ est pas idéal…

C’ est ici qu’ intervient la troisième phase. Cette dernière a lieu non pas lors de l’ entraînement mais lors de l’ inférence, c’ est à dire quand l’ utilisateur pose une question au modèle.

Et l’idée de base est simple: comme les modèles de langage sont par nature aléatoires, rien n’ empêche de leur demander de générer plusieurs chaînes de raisonnement complètes en réponse à chaque question et de ne présenter que la plus pertinente (et nous disposons pour cela du modèle d’ évaluation). Au plus le nombre de générations est élevé, au plus la réponse choisie a de chances d’ être de qualité, au prix d’ une plus grande consommation en ressources.

Figure 3 : Chaînes de raisonnement multiples (source : Besta et al., 2023)

Il est imaginable de faire mieux encore et d’ utiliser des algorithmes de recherche dans l’ arbre des raisonnements possibles pour « orienter » la recherche de la réponse vers la voie la plus prometteuse en cours de raisonnement, mais en restant exhaustif dans l’ évaluation des différentes branches. Des algorithmes d’ apprentissage par renforcement comme Monte Carlo Tree Search peuvent être utilisés à cet effet. L’ idée est fascinante et on ne sait pas si de telles techniques sont déjà exploitées par OpenAI pour le modèle o1…

Figure 4 : L’algorithme Monte Carlo Tree Search (source : Jokub Kowalski et al., 2024)

Malheureusement, OpenAI ne permet pas à l’ utilisateur de voir les multiples traces de raisonnement du modèle, et avance pour cela des raisons d’ avantage compétitif. On ne sait donc pas exactement jusqu’où OpenAI est allé dans cette approche, mais chercher de manière plus ou moins exhaustive le meilleur raisonnement pendant la phase d’ exécution permet de s’ affranchir de la limite de l’ entraînement : il suffit de chercher plus longtemps, plus profondément dans l’ arbre des raisonnements possibles pour obtenir une meilleure réponse.

C’ est d’ ailleurs comme cela que o1-pro semble fonctionner : le modèle est le même qu’ o1 mais il va fouiller plus profondément dans l’arbre des raisonnements, ce qui consomme bien sûr de la puissance de calcul et justifie le prix plus élevé…

2. Evaluation

L’ explication ci-dessus laisse quelques points en suspens; il faut notamment disposer d’ un mécanisme d’ évaluation automatique pour déterminer si une chaîne de raisonnement est pertinente ou non. Le problème est que dans beaucoup de domaines, la pertinence ou non d’ un raisonnement est subjective et donc difficilement automatisable.

C’ est pourquoi il est fort probable que l’ entraînement au raisonnement ait été effectué sur des domaines où les raisonnements peuvent être évalués de manière objective, à savoir les sciences exactes, et en particulier les mathématiques et l’ informatique.

C’ est d’ ailleurs ce qui ressort des « benchmarks » de performance publiés par OpenAI qui indiquent que les performances du modèle o1 sont très supérieures à celles de GPT-4o dans les tâches mathématiques, dans la programmation et dans les questions de sciences exactes :

Figure 5 : Performance de gpt4o et o1 dans les domaines formels (source : OpenAI)

Par contre, dans les domaines plus subjectifs comme la rédaction de texte, les modèles de la famille o1 ne sont pas meilleurs que gpt-4o. Il n’ y a donc pas lieu de recourir à o1 pour ce genre de tâches.

Figure 6 : Performance comparée de gpt4o et o1 (source : OpenAI)

3. Accessibilité des modèles o1

Passons maintenant à la partie pratique : OpenAI a mis à disposition une première version appelée « o1-preview » à la mi-septembre, qui a été remplacée début décembre par le modèle définitif « o1 ». Celui-ci est accessible en trois versions:

  • la version de base « o1« ;
  • une version allégée appelée « o1-mini« ;
  • et enfin une version plus puissante appelée « o1-pro« .

Cependant, l’ accessibilité aux modèles de la famille o1 est fortement dépendante de l’ abonnement auquel l’ utilisateur a souscrit : tout d’abord, les utilisateurs gratuits n’ ont pas accès aux modèles de la famille o1.

Les utilisateurs payant l’ abonnement ChatGPT+ peuvent accéder à o1-mini et o1 mais avec des volumes d’ utilisation limités à 50 messages par semaine pour o1 et 50 messages par jour pour o1-mini (d’ où l’ intérêt d’ o1-mini).

Par ailleurs, OpenAI vient d’ introduire un nouvel abonnement appelé ChatGPT Pro à 200 USD/mois! Ce plan haut de gamme est le seul qui donne accès au modèle o1-Pro et offre aussi un accès illimité aux modèles o1 et o1-mini.

Ce qui précède concerne l’ interface utilisateur via le site web, mais les modèles o1-preview et o1-mini sont également accessibles via l’ interface de programmation (API) d’ openAI, mais pas o1-pro. Le prix de l’ utilisation est alors dépendant du nombre de tokens échangés. Mais comme OpenAI ne permet pas de voir la chaîne de raisonnemet complète, l’ utilisateur de l’ API se retrouve contraint de payer à l’ aveuglette…

4. Conclusion

C’est au moment d’ écrire ces lignes que Google vient de sortir son propre modèle de raisonnement appelé Gemini 2.0 Flash Thinking Experimental. Deux équipes chinoises ont aussi publié des modèles de raisonnement, DeepSeek avec DeepSeek-R1-lite-preview, et Alibaba Qwen QwQ-32B-Preview.

Les modèles capables de raisonner sont en passe de devenir un nouveau terrain de compétition, et ce parce qu’ ils ouvrent la voie vers des systèmes plus fiables auxquels il est possible de déléguer plus facilement des tâches rendant possibles des agents IA plus autonomes…

Et enfin, gardons en mémoire que les modèles auxquels nous avons accès vont continuer à progresser. Si OpenAI a décidé de démarrer une nouvelle « lignée » de modèles comme sa dénomination l’ indique, ce n’ est pas innocent et suggère que des modèles raisonneurs plus puissants apparaîtront à l’ avenir, peut-être en ayant recours à des techniques d’ apprentissage par renforcement comme Monte Carlo Tree Search.

Il y a donc lieu de rester curieux et optimistes. Une nouvelle voie de progrès est ouverte. Nous verrone bien où elle mènera.

5. Sources et références

Cinq étapes vers l’ Intelligence Artificielle Générale

1 décembre 2024 /

L’ intelligence artificielle générale (AGI) désigne un type d’ IA qui possède la capacité de comprendre, d’ apprendre et d’ effectuer toute tâche intellectuelle qu’ un humain est en mesure de réaliser. Sans surprise, la quête incessante de cette intelligence artificielle générale captive les énergies des chercheurs et l’ imagination du public.

Mais quel chemin suivre pour y arriver ?

Un document interne d’ OpenAI contenant une « feuille de route » pour atteindre l’ AGI a fuité au mois de juillet. Cette feuille de route a ensuite été confirmée par Sam Altman (CEO d’ OpenAI) en septembre, il s’ agit donc d’ une information validée. Dans cet article, je vais présenter le contenu de cette feuille de route. Elle décrit cinq étapes à franchir sur la route vers l’ AGI.

Il est important de présenter cette feuille de route car il ne fait pas de doute que les grands acteurs de l’ IA entrevoient l’ existence d’ une IA généraliste dans un futur relativement proche (5 à 10 ans). J’ai déjà couvert ici l’ article de Dario Amodei, CEO d’ Anthropic. L’ article de Sam Altman The Intelligence Age accessible ici va dans le même sens et Demis Hassabis, PDG de Google Deepmind est lui aussi très ambitieux, comme il l’ a mentionné dans une récente interview accessible ici.

Bien sûr, ces personnages sont juges et partie et profitent du battage médiatique et de l’ intérêt que leurs déclarations suscitent, mais ils sont aussi les mieux placés pour savoir sur quoi leurs départements de R&D travaillent et quels résultats ils obtiennent. Ils peuvent aussi être victimes de leurs propres biais, mais au vu du chemin parcouru, il me semble légitime de prendre leurs déclarations au sérieux.

Présentation de la feuille de route

La feuille de route d’ OpenAI pour atteindre l’ AGI comporte cinq niveaux qui sont décrits dans la figure 1 et détaillés ci-dessous.

Figure 1 : Les cinq niveaux vers l’ AGI (crédit : Tomshardware)

Niveau 1 : Les Dialogueurs

Le premier niveau est celui des « Chatbots », ou « IA avec langage conversationnel », dans lequel les ordinateurs peuvent interagir avec les gens à travers une conversation naturelle.

Cela a été réalisé avec GPT-3.5 dans la première version de ChatGPT et était déjà possible avant cela, mais de manière moins efficace ou avec une conversation moins naturelle. Les grands modèles nativement multimodaux tels que GPT-4o, Gemini Pro 1.5 ou Claude Sonnet 3.5 répondent pleinement à toutes les exigences de ce niveau. Ils sont capables de conversations complexes et peuvent effectuer un raisonnement limité. Nous pouvons donc raisonnablement dire que le niveau 1 est atteint.

Niveau 2 : Les Raisonneurs

L’ étape suivante, le niveau 2, introduit les « raisonneurs » – des systèmes d’ IA capables de s’ attaquer à des problèmes complexes avec la compétence d’ experts humains, et ce sans devoir recourir à des outils extérieurs. Atteindre le niveau 2 signifierait un moment charnière, car cela représente une transition de l’ imitation du comportement humain à la démonstration de véritables prouesses intellectuelles.

Si nous n’ en sommes pas encore là, il est indéniable que les grands acteurs cherchent à améliorer les capacités de raisonnement de leurs modèles. OpenAI a mis à disposition le modèle o1-preview qui offre de performances supérieures aux modèles comme GPT-4o en termes de raisonnement. Et il y a quelques jours, la société chinoise DeepSeek AI a publié un modèle de raisonnement open-source appelé DeepSeek-R1-Lite-Preview; il s’ agit donc d’ un domaine qui devient compétitif et il n’y a rien de tel pour stimuler les progrès…

Vu l’ importance de ces modèles « raisonneurs » sur la route vers de l’ Intelligence Artificielle Générale, j’ y consacrerai un prochain article.

Niveau 3 : Les Agents autonomes

Le niveau 3 de la feuille de route envisage des « agents », c’ est-à-dire des systèmes d’ IA capables de fonctionner de manière autonome pendant de longues périodes, exécutant un ensemble d’ actions dans le but de mener à bien une tâche qui leur est assignée.

Ces agents pourraient transformer les industries en prenant en charge des tâches complexes, en prenant des décisions et en s’ adaptant à des circonstances changeantes sans surveillance humaine constante.

Il faut cependant se garder de toute confusion : le terme d’ « agent  » est actuellement utilisé pour décrire des modèles de langage auxquels on a greffé des outils capables d’ interagir avec le monde extérieur via des interfaces.

Ces « agents » ne répondent pas aux exigences des agents IA décrits dans ce niveau 3 de la feuille de route, qui implique une capacité de raisonnement appliquée de manière répétitive pour « refermer la boucle » entre l’ observation de l’ état d’ avancement de la tâche et le choix de nouvelles actions visant à se rapprocher du but.

Aucun système de ce niveau n’ existe sur le marché à ce jour. Des rumeurs font état du développement par OpenAI d’ un produit appelé « Operator » qui serait une première tentative pour offrir un produit de ce type. A suivre…

Niveau 4 : Les Innovateurs

Au niveau 4 de la feuille de route, l’ IA devient un innovateur.

Les systèmes à ce stade possèderont la créativité et l’ ingéniosité nécessaires pour développer des idées et des solutions originales. Une fois arrivés à ce niveau, les agents ne se limitent plus à exécuter les processus de manière compétente comme au niveau 3, mais les améliorent et en inventent de nouveaux plus efficaces. En parallèle, ces agents stimuleraient l’ innovation et le progrès dans divers domaines.

Niveau 5 : Les Organisateurs

Le sommet de la feuille de route d’ Open est le niveau 5, qui implique une intelligence artificielle capable d’ effectuer le travail d’ une organisation entière. Toutes les fonctions de l’ organisation, qu’ elles soient opérationnelles ou conceptuelles, sont réalisées par des agents IA qui travaillent ensemble, apportent des améliorations et exécutent tout ce qui est nécessaire sans qu’aucun humain ne soit directement impliqué.

A ce moment, l’ Intelligence Artificielle Générale est atteinte.

Que faut-il en penser ?

La question est de savoir si les technologies actuelles (Deep Learning en tête) sont suffisantes pour atteindre l’ AGI ou pas.

Comme je l’ ai dit dans l’ introduction, les principaux dirigeants des géants de la tech semblent considérer que ces technologies sont suffisantes et que les principaux défis qui restent sont essentiellemnt des facteurs d’ échelle et de combinaison d’ algorithmes. Leurs scénarios se basent donc sur des extrapolations de la situation actuelle ce qui les amène à émettre des pronostics assez agressifs (AGI dans la décennie).

Cet avis n’est cependant pas partagé par l’ ensemble de la communauté des chercheurs. Des chercheurs réputés comme Yann Le Cun ou Gary Marcus estiment au contraire que l’ apprentissage profond ne suffira pas et qu’il faudra inventer des architectures entièrement nouvelles pour surmonter les points faibles des techniques actuels. Ceci les amène naturellement à des évaluations plus conservatrices quant à l’ apparition de l’ AGI.

Leurs idées pour remédier aux manquements de l’ IA actuelle diffèrent cependant : si Gary Marcus estime nécessaire de réintroduire des approches symboliques pour permettre le raisonnement déductif, Yann Le Cun insiste plutôt sur le besoin de disposer d’ un modèle prédictif du monde…

Sources et références

Un prix Nobel bien mérité pour AlphaFold 2

3 novembre 2024 /

Le prix Nobel de chimie 2024 a été attribué à Demis Hassabis, PDG de Google Deepmind, conjointement avec le Dr. John Jumper également de Deepmind et le Professeur David Baker de l’Université de Washington.

Cette distinction a été attribuée pour leurs travaux sur le programme AlphaFold 2 développé par Google Deepmind, qui constitue une véritable révolution dans le domaine des sciences du vivant. Il s’ agit probablement de l’ application la plus prometteuse de l’ Intelligence Artificielle à ce jour. Le modèle, qui permet de prédire la structure tridimensionnelle des protéines à partir de leur séquence d’ acides aminés a résolu un problème de biochimie vieux de plus de cinquante ans. Le prix Nobel ne récompense pas seulement des années de recherches, mais démontre aussi comment l’ apprentissage machine et l’ IA influencent profondément notre compréhension des mécanismes du vivant.

Ce qui rend Alphafold aussi intéressant est sa capacité à faire des prédictions structurales précises de pratiquement n’ importe quelle protéine, une information exploitable par des milliers de chercheurs à travers le monde pour développer de nouveaux médicaments ou mieux comprendre des menaces sanitaires comme la résistance aux antibiotiques. De plus, l’ outil AlphaFold est librement accessible.

Les retombées potentielles d’ Alphafold sont certes nombreuses, mais comme il s’ agit d’ une application très spécifique, il faut se plonger dans le monde de la biologie moléculaire pour bien la comprendre…

Cet article s’ inscrit dans la continuité de mon article précédent intitulé « Les Machines Gracieuses » accessible ici. L’ essai de Dario Amodei, qui est docteur en neurosciences, imagine les transformations de notre société à moyen terme (5-10 ans) en se concentrant largement sur les progrès à attendre de l’ IA dans ses spécialités: la biologie et les neurosciences.

Présenter Alphafold est aussi une opportunité de sortir de l’ omniprésence médiatique des modèles de langage. L’ accessibilité et la popularité de l’ IA générative auprès du grand public a quelque peu éclipsé les progrès parallèles de l’ IA dite « prédictive » ces derniers temps. AlphaFold est une excellente occasion de rappeler que l’ IA prédictive, bien que plus spécialisée, recèle un potentiel énorme lui aussi.

1. Quelques mots de biochimie

Les protéines sont des molécules complexes qui sont responsables de la quasi-totalité des processus biologiques. Elles sont constituées de chaînes d’ acides aminés qui s’ emboîtent dans un ordre bien précis.

Ces chaînes pouvant être assez longues, le nombre de protéines théoriquement possibles est astronomique. Mais le mécanisme d’ assemblage n’ est pas aléatoire, loin de là : l’ être humain est constitué d’ environ 20.000 types de protéines, produites de manière calibrée en fonction de la cellule et de l’ organe.

L’ information décrivant la séquence de chaque protéine constituant nos protéines se trouve enregistrée dans notre ADN, sur lequel on retrouve environ 20.000 gènes, correspondant à nos 20.000 protéines, chaque gène encodant une protéine.

L’ ADN se compose d’ une longue suite de quatre bases différentes (dénommées en abrégé A,C, T et G). Un bloc de trois bases consécutives constitue un « codon », par exemple TTA, ATG etc… Chaque codon encode un acide aminé de la séquence formant la protéine. Un gène est donc une suite de bases ADN consécutives formant des codons qui seront ensuite traduits en une chaîne d’ acides aminés qui se replieront enfin pour former une protéine.

Petite complication, l’ ADN est d’ abord transcrit en ARN messager avant d’ être traduit en acides aminés, et la base T(hymine) est transformé en U(racile) au passsage. Par exemple, le codon TTA dans l’ ADN va devenir UUA dans l’ ARN messager qui encodera ensuite l’ acide aminé Leu(cine) dans le ribosome. La figure 2 montre comment passer du codon de l’ ARN messager à l’ acide aminé, en allant du centre vers l’ extérieur.

Figure 1 : De l’ ADN à la protéine, crédit : Nagwa
Figure 2: Table de traduction des codons de l’ ARN messager aux acides aminés, Credit : Mouagip

Il est fascinant de réaliser que ce mécanisme de transcription/traduction est identique -à quelques variations mineures près- pour l’ ensemble du vivant, depuis la bactérie jusqu’à l’ humain. La principale (la seule ?) distinction entre deux espèces provient de la différence entre les protéines produites et leur rôle.

Que ce mécanisme soit uniforme est un signe de l’ origine commune de l’ ensemble du vivant : si l’ on remonte suffisamment loin dans le temps, on aboutit à l’ organisme appelé LUCA, le dernier ancêtre commun universel à l’ ensemble de tous les êtres vivants actuels. Il est très probable que LUCA possédait déjà le mécanisme décrit ci-dessus expliquant son universalité. A noter que LUCA n’est en rien le premier organisme vivant, il résulte lui-même d’ un long processus évolutif sur la terre primitive. Mais tous les descendants des prédécesseurs de LUCA hormis ce dernier ont disparu…

Figure 3 : LUCA notre ancêtre commun (Last Universal Common Ancestor)

Les acides aminés étant les mêmes pour tous les organismes, l’ algorithme de prédiction de structure des protéines d’ Alphafold2 peut s’ appliquer à l’ ensemble du règne animal et végétal. Et l’ on retrouve d’ ailleurs d’ importantes similitudes entre les protéines à travers les espèces. Au plus les espèces sont proches au sens de la taxonomie, au plus les protéines sont semblables. Et l’ analyse des différences entre protéines jouant un rôle similaire à travers les espèces est une des sources d’ information utilisées par AlphaFold2 pour prédire la structure des protéines.

2. Le problème du repliement des protéines

Fort bien, nous savons maintenant comment sont stockées dans l’ ADN les séquences d’ acide aminé constituant les protéines. La découverte de ce code remonte au début des années 1960 et fait suite à la découverte de la structure en double hélice de l’ ADN en 1953.

Mais les chercheurs ont rapidement dû faire face à un autre problème : le rôle d’une protéine dépend de sa forme dans l’ espace. En effet, une fois créée dans le ribosome – la machine cellulaire qui transforme l’ ARN messager en séquence d’ acides aminés – la protéine va se replier selon un mécanisme extrêmment complexe faisant intervenir non seulement les attractions et/ou répulsions des atomes entre eux, mais aussi le rôle du milieu aqueux dans lequel plonge la chaîne d’ acide aminés, dont certaines parties sont hydrophiles et d’ autres hydrophobes. La protéine ne deviendra fonctionnelle qu’une fois son repliage achevé. Complication finale, certaines protéines s’ assemblent ensuite entre elles pour former des structures plus complexes appelées multimères. La figure 4 donne une idée des étapes du processus :

Figure 4 : Les étapes conceptuelles du pliage des protéines

Le problème du pliage des protéines est donc de savoir quelle forme géométrique finale adaptera une séquence donnée d’ acides aminés. Cela fait environ cinquante ans (depuis le début des années 1970) que les biochimistes butaient sur ce problème. Ce problème est tellement important qu ‘il a été appelé « la seconde moitié du code génétique » car sans cette information de structure, le rôle des protéines n’ est pas compréhensible.

En l’ absence d’une solution au problème du pliage des protéines, la seule alternative constituait à déterminer expérimentalement la forme de chaque protéine, une par une, par des techniques de cristallographie d’ abord et plus récemment de microscopie électronique. Mais cela restait un effort majeur, demandant plusieurs années de travail à un ou plusieurs chercheurs pour une seule protéine.

Au cours des cinquante dernières années, les laboratoires ont réussi à déterminer la structure d’ environ 220.000 protéines, qui sont regroupées dans la base de données mondiales des protéines PDB (Protein Databank) dont l’ instance européenne est accessible ici. Ce volume de données expérimentales laborieusement collecté au cours des dernières décennies a permis d’ entraîner AlphaFold.

3. Présentation d’ Alphafold

Alphafold utilise des techniques d’ intelligence artificielle pour prédire directement la structure finale (« pliée ») de la protéine à partir de la chaîne d’ acide aminés fournie en entrée. En d’ autres termes, AlphaFold2 ne s’ intéresse pas ni ne cherche à résoudre le processus de pliage sur lequel butaient les chercheurs. Il va au contraire, selon une approche typique du Machine Learning , chercher à prédire directement la forme finale de la protéine sur base de corrélation avec les structures connues qui lui sont présentées lors de l’entraînement du modèle, d’ où l’ importance de la base de données des 220.000 protéines existantes sans lequel rien n’ aurait été possible.

Une clarification : j’ ai parlé jusqu’ ici d’ Alphafold 2, publié en 2020, parce que c’ est ce modèle qui a reçu le prix Nobel 2024 mais Google Deepmind a publié en 2023 un nouveau modèle appelé AlphaFold3 qui est encore plus puissant et c’ est celui dont je vais vous présenter succinctement l’ architecture.

Lorsque l’ on présente une séquence d’ acides aminés à AlphaFold3, ce dernier va fonctionner en trois étapes. Il va tout d’ abord effectuer des recherches préparatoires pour localiser dans plusieurs bases de données la forme des protéines connues les plus proches ainsi que les séquences d’ acide aminés semblables dans d’ autres espèces. Ces données sont synthétisées sans deux ensembles distincts : la représentation par paire, qui décrit les positions et interactions relatives entre deux acides aminés de la chaîne, et la représentation d’ alignement multi-séquences (MSA) qui reprend un ensemble de séquences d’ acides aminés similaire à ce qui est recherché. Ces deux structures sont alors envoyées au second module.

Figure 5 : Architecture générale d’ Alphafold 3 (crédit : Eleana Simon & Jake Silberg)

Le second module contitue le coeur du système. Il s’ articule autour d’ un mécanisme d’ attention appelé « Pairformer » semblable à ce qui existe dans les modèles de langage. Ce mécanisme va enrichir l’ information en combinant les données contextuellement proches. Les deux structures (MSA et représentation par paires) sont retravaillées au cours de 48 étapes successives pour être finalement présentées à l’ entrée du module final.

Le module final va utiliser un algorithme de diffusion semblable aux générateurs d’ images pour itérer vers la structure géométrique finale sur base des informations fournies par le pairformer, la différence étant qu’ au lieu de générer des pixels que base d’ un texte, le modèle va générer une liste de positions tridimensionnelles pour chaque atome de la molécule sur base de la preprésentation par paires et de la MSA. Ce qui précède n’ est qu’ un très bref survol du mécanisme, si cela vous intéresse une description beaucoup plus détaillée mais restant accessible est disponible ici.

4. Potentiel pharmaceutique et thérapeutique

Répétons-le : le potentiel thérapeutique d’ Alphafold est très important. Google Deepmind ne s’y est pas trompé puisqu’il a lancé une spin-off appelée Isomorphic Labs qui travaille avec le secteur pharmaceutique pour développer de nouveaux médicaments.

La grande nouveauté d’ AlphaFold3 par rapport à Alphafold 2, c’ est qu’ il permet non seulement de prédire la structure des protéines, mais également leurs interactions avec d’ autres molécules comme l’ ADN ou de plus petites molécules appelées ligands. Or de nombreux médicaments ne sont rien d’ autre que des ligands qui vont modifier l’ action de certaines protéines en se liant avec elles. La possibilité de modéliser de telles interactions in silico devrait donc permettre d’ accélérer l’ identification de nouveaux médicaments potentiels.

Même logique pour les vaccins : pour créer un vaccin, il faut connaître la structure en 3D de l’ agent pathogène pour identifier les régions susceptibles d’ être reconnues par les anticorps de l’ organisme ce qui déclenchera le mécanisme de réponse immunitaire. Vacciner signifie introduire dans l’ organisme des molécules inoffensives présentant les mêmes structures moléculaires afin d’ apprendre au système immunitaire à les reconnaître à l’ avance. Or, avec Alphafold, il suffit de connaître la séquence génétique du virus (son code ADN) pour connaître sa forme tridimensionnelle, ce qui est nettement plus facile à déterminer.

Autre domaine d’ application: les maladies génétiques et les cancers. Il s’ agit cette fois de déterminer l’ impact d’ une variation dans la séquence d’ acides aminés sur la structure de la protéine et son fonctionnement. Cette protéine modifiée peut soit être héritée (maladie génétique) soit résulter de mutations (cancer) soit les deux. Il s’ agit d’ un domaine encore largement inexploré car la lourdeur des techniques traditionnelles rendait impossible l’ analyse du nombre énorme de variants possibles.

L’ idée est ici de prédire la dangerosité d’ un variant dont on connaît la séquence ADN (qui peut aisément être obtenue par séquencage). Pour ce faire, Google Deepmind développe un autre programme appelé AlphaMissense, une adaptation d’ Alphafold visant à catégoriser le risque introduit par un variant.

5. Le problème inverse : le design de protéines

Un point mérite d’ être soulevé ici : si Alphafold a largement résolu le problème « direct » de la prédiction de la structure des protéines à partir d’ une séquence d’ acides aminés, le problème inverse n’ est pas moins important. Le design de protéines consiste à partir d’ une structure spatiale désirée et à chercher la séquence d’ acides aminés correspondante afin de pouvoir la faire fabriquer en série par les cellules.

Résoudre le problème direct nous aide à comprendre le fonctionnement du vivant, mais résoudre le problème inverse ouvrirait une boîte de Pandore : la construction de virus pathogènes voire de cellules artificielles entrerait dans le champ du possible.

Le problème inverse n’ est pas résolu mais il existe une voie de contournement: utiliser un modèle direct comme Alphafold pour générer un très grand nombre de structures, les stocker, puis utiliser un système de recherche pour localiser la structure la plus proche de ce que l’ on cherche et en fournir la séquence.

C’est ce qu’a fait Google Deepmind en publiant les structures de 200 millions de protéines générées par Alphafold. En effet, si la prédiction de structure était difficile avant Aphafold, le problème du séquençage génétique est résolu depuis longtemps. Le nombre de séquences ADN connues est donc bien plus important que celui des structures de protéines. Google Deepmind a simplement utilisé son algorithme sur l’ensemble des séquences qui n’avaient pas encore été modélisées en 3D (soit 99.9% du total)….le résultat est accessible ici.

6. Risques

Alphafold 3 est accessible au public ici. Vous pouvez demander à visualiser la structure d’ une protéine après avoir fourni la séquence d’ acides aminés au format FASTA, et éventuellement ajouter d’ autres éléments en interaction : ADN, ARN, ligands…

Voici un exemple dans lequel j’ ai essayé de voir l’ interaction entre deux protéines, un segment d’ ARN et deux ions Zinc. Les couleurs correspondent au niveau de confiance du modèle comme indiqué sur la légende en haut de l’ image.

Figure 6 : Exemple d’ utilisation d’ Alphafold 3

Le modèle n’ est cependant pas open-source. Vous devez passer par les serveurs de Google Deepmind. Il y a une bonne raison à cela en plus de l’ impératif commercial : les virus sont eux aussi des assemblages de protéines. C’ est pourquoi le modèle bloque la prédiction structurales de certaines séquences suspectes.

Il existe cependant déjà un programme concurrent à Alphafold, appelé RoseTTAFold, qui est librement téléchargeable sur Github ici. Ses performance sont cependant inférieures à Alphafold.

Tant que ces modèles restent limités à la prédiction directe, le danger reste limité. Mais si le problème inverse venait à être résolu, le risque augmenterait considérablement…

7. Sources et références

© 2025 Artificiellement Intelligent

Theme by Anders Noren — Up ↑