{"id":97,"date":"2023-05-14T14:39:57","date_gmt":"2023-05-14T12:39:57","guid":{"rendered":"https:\/\/artificiellementintelligent.wordpress.com\/?p=97"},"modified":"2023-05-14T14:39:57","modified_gmt":"2023-05-14T12:39:57","slug":"un-peu-dhistoire-ii-la-lente-ascension-de-lia-connectionniste","status":"publish","type":"post","link":"https:\/\/artificiellementintelligent.eu\/index.php\/2023\/05\/14\/un-peu-dhistoire-ii-la-lente-ascension-de-lia-connectionniste\/","title":{"rendered":"Un peu d’histoire (II) : la lente ascension de l’IA connexionniste"},"content":{"rendered":"\n

Dans l’article pr\u00e9c\u00e9dent, j’ai d\u00e9j\u00e0 relat\u00e9 l’histoire riche en rebondissements de l’IA symbolique, parfois affubl\u00e9e du sobriquet affectueux de Good Old-Fashioned AI (GOFAI)<\/em> par les Anglo-Saxons. Nous allons maintenant couvrir l’histoire de l’autre grande branche de l’IA, la branche connexioniste<\/em>. Si l’IA symbolique a \u00e9t\u00e9 traditionnellement domin\u00e9e par les math\u00e9maticiens, les logiciens et les informaticiens, l’IA connexionniste trouve sa source dans un tout autre domaine scientifique : les neurosciences.<\/p>\n\n\n\n

Comme je l’avais d\u00e9j\u00e0 mentionn\u00e9, les deux domaines ont longtemps coexist\u00e9 dans une relative indiff\u00e9rence mutuelle, parfois teint\u00e9e d’antagonisme. L’ histoire de l’IA connexioniste commence elle aussi fin des ann\u00e9es 1940, au moment o\u00f9 Alan Turing \u00e9tablit les fondements de la discipline.<\/p>\n\n\n\n

Br\u00e8ve description de l’approche connexionniste.<\/h2>\n\n\n\n

L’IA connexionniste tire son nom de la topologie en r\u00e9seau auxquels la plupart des ses algorithmes font appel. Les noeuds du r\u00e9seau, appel\u00e9s neurones artificiels, ne sont rien d’autre que des fonctions math\u00e9matiques reli\u00e9es entre elles par des param\u00e8tres variables. Ce sont les valeurs finales de ces param\u00e8tres qui constituent l’algorithme. Que ceci ne vous rebute pas, la mani\u00e8re dont ceci fonctionne en pratique sera expliqu\u00e9 plus en d\u00e9tail dans un article futur.<\/p>\n\n\n\n

Une des diff\u00e9rences principales avec l’IA symbolique est que le programmeur ne sp\u00e9cifie pas les r\u00e8gles du probl\u00e8me \u00e0 mod\u00e9liser. Il laisse au contraire le r\u00e9seau d\u00e9couvrir lui-m\u00eame ces r\u00e8gles \u00e0 travers une exposition r\u00e9p\u00e9t\u00e9e \u00e0 un ensemble de donn\u00e9es dites d’entra\u00eenement ainsi que le r\u00e9sultat attendu. Les algorithmes connexionnistes appliquent alors des algorithmes statistiques afin de faire progressivement \u00e9voluer les param\u00e8tres du r\u00e9seau vers une solution optimale. <\/p>\n\n\n\n

A la place d’un mod\u00e8le, l’ ing\u00e9nieur doit juste fournir un volume de donn\u00e9es suffisant en rapport avec la complexit\u00e9 du probl\u00e8me \u00e0 mod\u00e9liser. Par rapport \u00e0 l’approche symbolique, c’est \u00e0 la fois un avantage, mais aussi un d\u00e9faut car tout d\u00e9pend de la qualit\u00e9 des donn\u00e9es d’entra\u00eenement. <\/p>\n\n\n\n

Le perceptron (ann\u00e9es 1960-1970)<\/h2>\n\n\n\n

L’inspiration des premiers chercheurs connexionistes est la biologie, qui cherchent d\u00e8s les ann\u00e9es 1940 \u00e0 mod\u00e9liser le fonctionnement des neurones du cerveau au moyen de circuits \u00e9lectroniques. Le premier mod\u00e8le concret est le Perceptron<\/em> de Frank Rosenblatt (1957), qui mod\u00e9lise d’abord un seul neurone sous forme de circuit \u00e9lectronique, puis plus tard un ensemble d’environ un millier de neurones dans le but de mod\u00e9liser une r\u00e9tine artificielle primitive. <\/p>\n\n\n\n

Cependant, ces r\u00e9seaux de neurones artificiels restent tr\u00e8s rudimentaires. L’ analogie entre le neurone biologique et le neurone artificiel reste superficielle, et les moyens de l’\u00e9poque ne permettent pas de cr\u00e9er de r\u00e9seau de plus d’une couche de neurones. L’id\u00e9e d’une possible r\u00e9tro-ing\u00e9ni\u00e9rie du cerveau humain est certes fascinante, mais de tels r\u00e9seaux ne permettent pas de mod\u00e9liser des ph\u00e9nom\u00e8nes complexes et atteignent rapidement leurs limites. <\/p>\n\n\n\n

Pire, ils se montrent m\u00eame incapables de mod\u00e9liser certaines fonctions \u00e9l\u00e9mentaires, et l’exposition de ces limitations dans un livre (intitul\u00e9 Perceptrons<\/em>) publi\u00e9 en 1969 fait douter la communaut\u00e9 scientifique et les organismes de financement du potentiel de ces recherches, qui sont rapidement interrompues. <\/p>\n\n\n\n

La r\u00e9tropropagation (ann\u00e9es 1980)<\/h2>\n\n\n\n

Et pourtant, des recherches men\u00e9es pendant les ann\u00e9es 1960 avaient d\u00e9j\u00e0 identifi\u00e9 des techniques permettant d’entra\u00eener des r\u00e9seaux de neurones multicouches. Ces techniques, dites de r\u00e9tropropagation<\/em> sont lentement am\u00e9lior\u00e9es pendant les ann\u00e9es 1970 et reviennent sur le devant de la sc\u00e8ne au d\u00e9but des ann\u00e9es 1980. Du coup, les r\u00e9seaux neuronaux s’\u00e9panouissent, profitant de la conjoncture favorable \u00e0 l’IA mentionn\u00e9e dans le pr\u00e9c\u00e9dent article. Une des r\u00e9alisations les plus impressionnantes de l’\u00e9poque est l’utilisation de r\u00e9seaux neuronaux multicouches pour reconna\u00eetre les chffres des codes postaux sur les enveloppes.<\/p>\n\n\n\n

Mais, comme pour l’IA symbolique, les capacit\u00e9s plafonnent vers la fin des ann\u00e9es 1980 suite aux limitations de puissance des ordinateurs et du manque relatif de donn\u00e9es disponibles pour les probl\u00e8mes complexes.<\/p>\n\n\n\n

Les donn\u00e9es \u00e0 la rescousse (ann\u00e9es 1990-2000)<\/h2>\n\n\n\n

Les ann\u00e9es 1990 voient appara\u00eetre le World Wide Web<\/em> qui va provoquer une explosion du volume de donn\u00e9es disponibles. Tout devient progressivement digital et accessible sur le web : images, musique, vid\u00e9os… collecter les volumes de donn\u00e9es requis pour entra\u00eener les r\u00e9seaux neuronaux cesse d’\u00eatre prohibitif. Reste \u00e0 r\u00e9soudre le probl\u00e8me de la puissance de calcul car ces algorithmes sont extr\u00eamement gourmands en puissance de calcul. La solution \u00e0 ce second probl\u00e8me arrive en 1999 avec les premiers coprocesseurs graphiques (GPU<\/em>) qui sont parfaitement adapt\u00e9s au type de calculs demand\u00e9s par les r\u00e9seaux neuronaux m\u00eame si ce n’est pas leur vocation premi\u00e8re. En une dizaine d’ann\u00e9es, la puissance des coprocesseurs graphiques est multipli\u00e9e par 1000 et la course \u00e0 la puissance ne s’arr\u00eate pas l\u00e0…<\/p>\n\n\n\n

On d\u00e9couvre alors que les r\u00e9seau neuronaux multicouches, maintenant appel\u00e9s r\u00e9seaux profonds, continuent \u00e0 progresser et gagner en puissance expressive lorsqu’on augmente \u00e0 la fois la taille du r\u00e9seau et le volume de donn\u00e9es d’entra\u00eenement, qui sont maintenant disponibles en abondance. Cette capacit\u00e9 \u00e0 traiter des probl\u00e8mes de plus en plus complexes va progressivement pousser l’essentiel des autres approches en d\u00e9su\u00e9tude, elles qui ne b\u00e9n\u00e9ficient pas des m\u00eames effets d’\u00e9chelle.<\/p>\n\n\n\n

L’explosion de l’apprentissage profond (depuis 2012)<\/h2>\n\n\n\n

De nouveaux d\u00e9veloppements majeurs ont lieu en 2012. Le r\u00e9seau neuronal AlexNet<\/em> pulv\u00e9rise tous les records de performance en reconnaissance d’image. Il s’agit d’un r\u00e9seau neuronal dont l’architecture est appel\u00e9e convolutionnelle<\/em>; cette architecture est particuli\u00e8rement adapt\u00e9es aux algorithmes traitant des images, une cat\u00e9gorie de probl\u00e8mes consid\u00e9r\u00e9s jusqu’alors comme difficile.<\/p>\n\n\n\n

Mais les applications possibles d’un algorithme performant de classement des images sont innombrables et ce r\u00e9sultat provoque une nouvelle vague d’engouement pour l’IA, qui peut maintenant s’ouvrir \u00e0 de nouveaux domaines : robotique, conduite autonome, contr\u00f4le visuel de qualit\u00e9, classification d’images automatis\u00e9e, biom\u00e9trie…<\/p>\n\n\n\n

En parall\u00e8le, le traitement du langage a \u00e9galement progress\u00e9, la perc\u00e9e ayant lieu dans ce domaine en 2017 avec la mise en place de l’architecture des transformeurs<\/em>. Les mod\u00e8les de langage continuent \u00e0 progresser rapidement pendant les ann\u00e9es qui suivent, on parle maintenant de \u00ab\u00a0grands\u00a0\u00bb mod\u00e8les de langage vu la progression du nombre de param\u00e8tres qui devient tout simplement gigantesque : 117 millions pour GPT1, 1,5 milliards pour GPT2, 175 milliards pour GPT3 (et donc chatGPT3.5) , probablement 1,7 trillion pour GPT4…. <\/p>\n\n\n\n

L’ explosion r\u00e9cente de l’IA dite \u00ab\u00a0g\u00e9n\u00e9rative\u00a0\u00bb ne fait probablement que commencer: en plus des applications purement textuelles comme ChatGPT, on d\u00e9nombre \u00e9galement des mod\u00e8les qui g\u00e9n\u00e8rent des images \u00e0 partir d’un texte (Stable Diffusion), mais aussi des vid\u00e9os, du code informatique, des mod\u00e8les 3D, voir m\u00eame des plans d’action pour accomplir une t\u00e2che complexe. <\/p>\n\n\n\n

Nous voici arriv\u00e9s au terme de l’histoire, nous avons rejoint le pr\u00e9sent. Nul ne sait quand le sommet sera atteint mais prenons quand m\u00eame un moment pour admirer le chemin qui a \u00e9t\u00e9 parcouru depuis les quelques neurones artificiels du premier perceptron<\/em>. <\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

Dans l’article pr\u00e9c\u00e9dent, nous avons couvert l’histoire de l’IA symbolique. Nous abordons maintenant l’IA connexioniste, issue des neurosciences. Contrairement \u00e0 l’approche symbolique, l’ing\u00e9nieur fournit des donn\u00e9es au r\u00e9seau pour qu’il d\u00e9couvre les r\u00e8gles lui-m\u00eame. Les premi\u00e8res recherches remontent aux ann\u00e9es 1940, mais c’est dans les ann\u00e9es 2010 que l’IA g\u00e9n\u00e9rative prend un essor exaltant, ouvrant de nouvelles perspectives.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-97","post","type-post","status-publish","format-standard","hentry","category-historique","post-preview"],"_links":{"self":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/97","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/comments?post=97"}],"version-history":[{"count":0,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/posts\/97\/revisions"}],"wp:attachment":[{"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/media?parent=97"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/categories?post=97"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/artificiellementintelligent.eu\/index.php\/wp-json\/wp\/v2\/tags?post=97"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}