Le monde de l’ IA générative est en ébullition suite à la publication du modèle R1 par la société chinoise DeepSeek la semaine passée.

DeepSeek-R1 est un modèle de raisonnement open-source innovant: contrairement aux modèles de langage traditionnels qui se concentrent sur la génération et la compréhension de textes, DeepSeek-R1 se spécialise dans l’ inférence logique, la résolution de problèmes mathématiques et la planification. Il se positionne dès lors comme un concurrent direct d’ OpenAI-o1 dont j’ai parlé dans mon article précédent.

DeepSeek est une entreprise d’IA chinoise fondée en 2023 par Lian Wenfeng et basée à Hangzhou, près de Shanghaï. Elle se consacre au développement de l’ Intelligence Artificielle Générale. La société DeepSeek compterait environ 200 personnes et est financée par le fonds d’investissement High-Flyer également fondé par Lian Wenfeng.

Le modèle R1 est extrêmement intéressant à plusieurs titres.

Tout d’ abord, il s’ agit d’ un modèle « raisonneur » au même titre qu’ OpenAI-o1 et ses performances sont comparables. Mais à la différence d’ o1, ce modèle est open-source et peut être librement téléchargé et exécuté localement. Qui plus est, DeepSeek a décrit en détail le mécanisme d’ apprentissage par renforcement utilisé pour passer de leur modèle de langage « standard » DeepSeek-V3 au modèle « raisonneur » DeepSeek-R1 (un lien vers le document technique est fourni en référence).

Ensuite, le modèle aurait été développé avec un budget assez limité – on parle de 6 millions d’ USD- ce qui est peu comparé aux dépenses de ses concurrents américains.

Les performances du modèle DeepSeek-R1 étant plus qu’ honorables, cela signifie qu’ une grande partie de l’ avantage compétitif de sociétés « fermées » comme OpenAI a disparu et se retrouve accessible à tous.

Il s’ agit donc d’ un fameux coup de pied dans la fourmilière qui va sérieusement ouvrir le jeu et permettre de nouvelles innovations.

Accéder au modèle

Le modèle DeepSeek-R1 est exploitable de trois manières différentes :

Tout d’ abord, vous pouvez dès aujourd’hui tester DeepSeek-R1 via l’ interface web accessible ici après inscription. Cet accès est entièrement gratuit.

Figure 1 : L’interface utilisateur DeepSeek

L’ interface est très simple et propre. Vous devez cliquer sur le bouton DeepThink (R1) pour utiliser DeepSeek-R1, sinon c’ est le modèle DeepSeek-V3 qui vous répondra.

Seconde possibilité, vous pouvez utiliser le modèle via l’ Interface de programmation (API) de DeepSeek qui est compatible avec celle d’ OpenAI. Les mécanismes d’ accès sont décrits ici.

Le point-clé ici est le prix extrêmement bas pratiqué par DeepSeek par rapport à OpenAI. Le tableau ci-dessous compare les prix entre OpenAI et DeepSeek :

Figure 2 : Comparaison des prix d’ accès via l’ API

Une remarque cependant : DeepSeek se réserverait la possibilité de réutiliser vos interactions avec le modèle pour des entraînements ultérieurs; évitez donc de transmettre des données confidentielles ou personnelles dans vos interactions, que ce soit via l’ interface Web ou via l’ API.

Troisième possibilité, comme le modèle est open-source, vous pouvez télécharger ses paramètres et l’ exécuter localement. Le modèle R1 complet contient cependant 670 milliards de paramètres ce qui le met hors de portée de la plupart des ordinateurs….

Pour contourner cela, DeepSeek met à disposition des « distillations » de son modèle qui sont, elles, de taille beaucoup plus accessible : elles vont de 1,5 à 70 milliards de paramètres. Des programmes comme Ollama ou LMStudio proposent dès aujourd’ hui ces modèles pour téléchargement et exécution locales.

Figure 3 : Liste et performances des versions distillées de DeepSeek R1 (source : DeepSeek)

Le processus de distillation consiste à partir d’ un autre modèle open-source (Qwen, LLama…) et à l’ affiner sur des traces de raisonnement générées par DeepSeek R1. On obtient en sortie un modèle certes moins performant que R1 mais meilleur en raisonnement que le modèle de base dont il est dérivé. Le modèle qui en résulte est donc une sorte de compromis…

Performances

Le modèle DeepSeek présente des performance comparables à celles d’ OpenAI-o1 lorsque les deux modèles sont évalués à travers six benchmarks couramment utilisés pour évaluer les modèles de langage, à savoir :

  • AIME2024 et MATH-500 sont deux tests destinés à évaluer les capacités de raisonnement mathématique des LLM;
  • CodeForces et SWE-Bench Verified sont deux tests de la capacité à programmer et résoudre des problèmes informatiques réalistes;
  • GPQA Diamond est une liste de 198 questions très difficiles en sciences naturelles : biologie, physique et chimie;
  • MMLU est un test plus large qui couvre non seulement les sciences exactes mais également les sciences humaines et sociales.

Le graphique ci-dessous présente les résultats d’ évaluation :

Figure 4 : Performance comparée de DeepSeek R1 (source : DeepSeek)

On voit en effet que DeepSeek-R1 tient la dragée haute à OpenAI-o1 sur chacun des six tests.

Il est aussi intéressant de constater que le modèle distillé DeepSeek-R1-32B (distillé à partir de Qwen-32B) présente des résultats tout à fait honorables et assez proches de ceux d’ o1-mini; or un tel modèle est tout à fait exécutable localement sur une machine de performances convenables.

Enfin, on voit bien l’ impact de l’ apprentissage par renforcement si l’ on compare les performances de DeepSeek-R1 avec celles de DeepSeek-V3 puisque R1 n’est autre que V3 ayant subi un entraînement complémentaire par renforcement.

Censure ?

L’ utilisation des modèles de DeepSeek a fait apparaître un point assez surprenant : le modèle refuse de parler de sujets tabous en Chine comme la souverainté de Taiwan, la disparition de l’ ancien Ministre des Affaires Etrangères Qin Gang, la famine causée par le Grand Bond en Avant de Mao Tsé-Toung ou encore le massacre de la place Tien An Men en 1989.

Ce qui est assez étonnant, c’est que le modèle commence par rédiger tout un texte puis ce dernier disparaît soudain pour présenter ceci :

Figure 5 : Aspects de censure

Cela donne vraiment l’ impression qu’ un robot censeur intervient en fin de génération pour valider ou rejeter le texte. En tous cas c’ est la première fois que je vois un modèle de langage faire cela…

Conclusions

Il est fort probable que l’ arrivée de DeepSeek-R1 va ouvrir grand les vannes des modèles « raisonneurs ». non seulement les algorithmes sont maintenant publiés au grand jour mais DeepSeek autorise quiconque à utiliser les générations de DeepSeek-R1 pour entraîner -ou plutôt distiller- d’ autres modèles afin de les améliorer.

Malgré les réserves relatives à la censure et la réutilisation des données, il faut saluer le tour de force réalisé par l’ équipe de DeepSeek qui a réussi à développer un modèle open source pour environ 5 millions de dollars et dont le coût d’ exploitation est trente fois inférieur par token comparé à OpenAI, qui reste un système fermé.

Cela pourrait remettre en question les milliards de dollars investis par OpenAI pour conserver son avantage technologique, et cela juste au moment où ils annoncent un investissement titanesque (500 milliards) dans le projet Stargate…l’ année 2025 commence fort.

Malheureusement, l’ Europe semble bien absente de cette accélération. Espérons que l’ annonce du Plan de Compétitivité de l’ Union Européenne la semaine prochaine permette de libérer nos forces créatrices. Il est grand temps.

Sources et références