L'apprentissage profond ou apprentissage en profondeur (en anglais : ) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux artificiels composés de nombreuses couches pour résoudre des tâches complexes. Cette méthode permet à la machine d'apprendre des représentations hiérarchisées directement à partir des données, sans qu'un expert humain n'ait à expliciter les règles.
Bien que ses fondations théoriques remontent aux années 1940, son développement a connu plusieurs cycles de désillusion, appelés « hivers de l'IA ». Il connaît un essor fulgurant à partir des années 2010 grâce au développement de la puissance de calcul des cartes graphiques, à l'abondance des données (Big Data) et des investissements privés et publics importants, notamment de la part des géants du Web.
Cette technologie est à l'origine d'avancées majeures dans des domaines variés comme la vision par ordinateur ou le traitement automatique du langage naturel. Cependant son déploiement présente des défis techniques et sociétaux, les modèles profonds souffrant souvent d'un manque d'explicabilité (modèle « boîte noire ») et nécessitant des ressources énergétiques colossales pour l'entraînement et le déploiement des modèles les plus massifs. Leur développement pose aujourd'hui des questions éthiques et juridiques allant de litiges relatifs à la propriété intellectuelle à la prolifération de la désinformation (hypertrucage).
Définition vignette|alt=Un schéma composé de trois colonnes de cercles reliés entre eux par des flèches : une colonne d'entrée, une colonne centrale et une colonne de sortie|Un exemple de réseau de neurones avec une seule couche cachée (en bleu) entre les couches d'entrée (en vert) et de sortie (en jaune). vignette|alt=Schéma vertical montrant trois photos d'animaux à la base, surmontées de quatre cadres superposés contenant des traits dessinés qui s'assemblent progressivement pour former l'esquisse d'une tête d'éléphant, aboutissant au sommet à la sélection du mot "Elephant" parmi plusieurs étiquettes.|Les premières couches d'un réseau neuronal convolutif identifient des motifs relativement simples, comme des contours, et les couches suivantes identifient des motifs de plus en plus complexes.
Pour créer un modèle informatique prédictif de manière classique, on modélise les données par extraction de caractéristiques, cette dernière étant souvent effectuée au moyen d'un algorithme. Selon la méthode de l'apprentissage profond.Commission d'enrichissement de la langue française, « Vocabulaire de l’intelligence artificielle (liste de termes, expressions et définitions adoptés) », Journal officiel de la République française du . (ou apprentissage en profondeur), l'extraction de caractéristiques résulte elle-même d'un processus d'apprentissage : on parle donc d'apprentissage de représentations. En pratique, la machine apprend des représentations hiérarchisées, souvent dans les couches cachées de réseaux de neurones artificiels, chacune étant définie à partir de représentations plus simplesDeep learning book, 1.. Ces représentations étant apprises directement à partir des données, cela évite que les humains aient à expliciter la manière de les construire au moyen d'un algorithme. Si l'on représente la manière dont ces représentations sont construites les unes à partir des autres au moyen d'un graphe, celui-ci contiendra de multiples couches, justifiant ainsi la qualification de « profond ». Histoire
Le développement de l'apprentissage profond s'inscrit dans l'histoire de l'intelligence artificielle, marquée par des cycles d'enthousiasme et de désillusion, souvent appelés «hivers de l'IA»13.. Dès les années 1940, les travaux fondateurs de la cybernétique posent les bases de la modélisation du cerveau comme système de traitement de l'information. Dans la continuité de cette approche émergent, dans les années 1980, les modèles connexionnistes ne reposant pas sur des règles logiques explicites, mais sur des réseaux de neurones artificiels capables d'apprendre à partir de données.
L'apprentissage profond constitue « la troisième vague » de ce courant. Il se distingue par l'utilisation de réseaux comportant de nombreuses couches cachées capables d'apprendre des représentations hiérarchisées de l'information, des plus simples aux plus abstraites. Ce développement est rendu possible par la convergence de trois facteurs : les avancées algorithmiques, la disponibilité massive de données et la puissance de calcul accrue. À partir des années 2010, le domaine est radicalement transformé par cette approche et son impact dépasse aujourd'hui le seul champ de la recherche académique.
Les fondations (des années 1940 aux années 1980) La modélisation mathématique du fonctionnement d'un neurone est proposée en 1943 par Warren McCulloch et Walter Pitts. Cette modélisation n'explique pas comment entraîner un neurone à accomplir une tâche particulière mais pose les bases du perceptron de Frank Rosenblatt, inventé en 1957. Le perceptron reprend le fonctionnement du neurone McCulloch-Pitts en le dotant d'une règle d'apprentissage qui lui permet de déterminer automatiquement les poids synaptiques pour une tâche de classification supervisée ; ce dernier permet de trouver une solution lorsque le problème est .
Beaucoup de problèmes courants ne sont pas linéairement séparables, ainsi le perceptron est incapable de déterminer si deux entrées binaires sont différentes ou non (problème du XOR). Cette limite est explicitée en 1969 par Seymour Papert et Marvin Minsky. Cette démonstration décourage les financements et marque le début du premier hiver de l'intelligence artificielle qui durera une décennie.
Malgré le désintérêt pour la discipline, le chercheur japonais Kunihiko Fukushima invente en 1975 le cognitron et cinq ans plus tard le néocognitron. Ce dernier, inspiré des neurosciences et du fonctionnement du cortex visuel, repose sur une première couche entraînée de manière non supervisée et une seconde subissant un entraînement supervisé ; il inspirera les premiers réseaux de neurones convolutifs.
En 1986, David Rumelhart, Geoffrey Hinton et Ronald Williams redécouvrent et popularisent l'algorithme de la rétropropagation du gradient et l'appliquent à l'apprentissage des réseaux de neurones. Cette avancée permet d'entraîner des modèles ayant des structures diverses et un nombre de couches cachées arbitraire (bien que le problème de la disparition et de l'explosion du gradient tempère cette ambition) ; cet algorithme demeure encore aujourd'hui au cœur de l'entraînement des réseaux profonds.
Les réseaux de neurones (années 1990-2000) Les premiers réseaux de neurones à rencontrer un usage commercial permettent la reconnaissance optique de caractères, comme la lecture des chèques. Ils traitent efficacement les images grâce à l'architecture développée par Yann LeCun au cours des années 1990 : les réseaux de neurones convolutifs. LeNet-5 en est un exemple ; il traite 10 à 20 % des chèques aux États-Unis à la fin de la décennie et contient déjà plusieurs ingrédients qui feront le succès de cette architecture comme la convolution ou le sous-échantillonnage (pooling).
En parallèle du développement des réseaux convolutifs, en 1997, et développent l' ( pour , en anglais) qui permet de traiter plus efficacement les séries temporelles.
Malgré leurs premiers succès, les réseaux de neurones sont délaissés au profit des machines à vecteurs de support (SVM). Ces dernières, contrairement aux réseaux de neurones, apportent de meilleures garanties mathématiques et demandent moins de données tout en restant plus faciles à entraîner.
Le terme « apprentissage profond » se popularise après les travaux de Geoffrey Hinton sur les réseaux de croyance profonds, cette appellation permettant aux chercheurs de s'affranchir de la mauvaise réputation des réseaux de neurones, notamment auprès de certaines revues. En 2007, un atelier sur l'apprentissage profond au NIPS marque l'adoption de ce terme dans la littérature spécialisée.
L'essor de l'apprentissage profond (années 2010) L'événement qui marque le début de l'adoption de l'apprentissage profond est la publication du modèle AlexNet en 2012. Conçu par Alex Krizhevsky, Ilya Sutskever et leur directeur de thèse Geoffrey Hinton., le modèle obtient des performances de pointe lors de la campagne d'évaluation internationale ImageNet de reconnaissance d'images. Le réseau surpasse largement le deuxième. et popularise ainsi l'apprentissage profond en vision par ordinateur et l'utilisation des cartes graphiques pour l'apprentissage.
Cette réussite et le développement des réseaux profonds qui la suivent sont le résultat de la convergence de trois facteursDeep learning book, 18 à 23. : les avancées théoriques, notamment dues à Geoffrey Hinton, qui a proposé des approches de pré-entraînement permettant d'apprendre des architectures profondes18 et 19 ;
le phénomène de Big data, qui a permis la mise à disposition de volumes colossaux de données numériques, nécessaires pour apprendre les architectures profondes19 ;
l'avènement du GPGPU, consistant à effectuer des calculs génériques et utiles pour l'apprentissage d'architectures profondes au moyen de processeurs graphiques qui accélèrent les calculs20 et 23. Cette évolution a été permise grâce à l'écosystème logiciel CUDA proposé par Nvidia. Les avancées permises par les réseaux profonds ne se limitent pas au domaine du traitement d'images : en 2015, le programme AlphaGo, un modèle neuronal profond qui a été entraîné à jouer au jeu de go grâce à l'apprentissage par renforcement, bat le champion européen Fan Hui. par cinq parties à zéro. En , le même programme bat le champion du monde Lee Sedol par 4 parties à 1.. Ces matches ont eu un fort retentissement dans le grand public, en particulier en Asie.
Les modèles les plus performants utilisent une architecture de réseaux de neurones convolutifs, mais en 2017 l'architecture sur laquelle repose la plupart des grands modèles de langage actuels est publiée : l'architecture transformeur. À la conférence NIPS, des chercheurs travaillant pour la plupart dans des équipes de recherche de Google proposent l'architecture transformeur., qui servira peu de temps après de base aux grands modèles de langage. L'année suivante, l'entreprise propose le modèle BERT, fondé sur la partie « encodeur » du transformeur. Ce modèle de langage permettra une amélioration significative des performances en traitement automatique des langues.
La même année, OpenAI propose le modèle GPT, qui est pour sa part fondé sur la partie « décodeur » des transformeurs ; en 2019, l'entreprise, après avoir initialement refusé de le faire, publie GPT-2, un modèle de fondation capable de générer du texte tout en communiquant sur ses craintes quant aux utilisations potentielles du modèle..
En 2020, l'entreprise Google DeepMind dévoile AlphaFold 2 à l'occasion de la compétition , qui met au défi des équipes de chercheurs à travers le monde de résoudre le problème du repliement des protéines. Ce défi, vieux de 50 ans et considéré comme critique pour la recherche médicale, consiste à concevoir un algorithme capable de prédire la structure tridimensionnelle d'une protéine à partir de sa chaîne d'acides aminés. Le modèle d'apprentissage profond proposé par DeepMind s'est montré si performant que le problème du repliement des protéines a été considéré comme résolu. En 2022, AlphaFold a permis de prédire la structure de plus de 200 millions de protéines, soit plus de 1000 fois le nombre de protéines dont la forme a été identifiée expérimentalement jusque-là.