Un réseau de neurones artificiels. Commission d'enrichissement de la langue française, « Vocabulaire de l’intelligence artificielle (liste de termes, expressions et définitions adoptés) », Journal officiel de la République française du ., ou réseau neuronal artificiel, est un système informatique dont la conception est inspirée à l'origine du fonctionnement des neurones mais qui, par la suite, s'est rapproché des méthodes statistiques..

Les réseaux de neurones artificiels sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien. Ils sont placés d'une part dans la famille des applications statistiques, qu'ils enrichissent avec un ensemble de paradigmesCes paradigmes correspondent aux différents types d'apprentissage par réseau neuronal, notamment les apprentissages supervisés ou non et l'apprentissage par renforcement. permettant de créer des classifications rapides (réseaux de Kohonen en particulier), et d'autre part dans la famille des méthodes de l'intelligence artificielle auxquelles ils fournissent un mécanisme perceptif indépendant des idées propres de l'implémenteur, et des informations d'entrée au raisonnement logique formel (voir apprentissage profond).

En modélisation des circuits biologiques, ils permettent de tester quelques hypothèses fonctionnelles issues de la neurophysiologie, ou encore les conséquences de ces hypothèses pour les comparer au réel.

Historique Les réseaux neuronaux sont construits sur un paradigme biologique, celui du neurone formel (comme les algorithmes génétiques le sont sur la sélection naturelle). Ce type de métaphore biologique est devenu courant avec les idées de la cybernétique et . Les premiers travaux sur les réseaux de neurones commencent dès les années 1950, se développent dans le courant des années 1990 et 2000 profitant de l'augmentation de la puissance de calcul des ordinateurs de recherche, et trouvent leurs premières applications pratiques dans les années 2010 dans la reconnaissance d'image, les jeux (notamment le jeu de go) puis l'intelligence artificielle générative..

Neurone formel Les neurologues Warren McCulloch et Walter Pitts publient à la fin des années 1950 des travaux sur les réseaux de neurones, dont on retient l'article fondateur « What the frog’s eye tells the frog’s brain » (« Ce que l'œil d'une grenouille dit au cerveau d'une grenouille »).. Ils construisent un modèle de neurone, communément appelé neurone formel, et montrent que des réseaux de neurones formels simples peuvent théoriquement réaliser des fonctions logiques, arithmétiques et symboliques complexes. vignette|Représentation d'un neurone formel (ou logique) Le neurone formel est conçu comme un automate doté d'une fonction de transfert qui transforme ses entrées en sortie selon des règles précises. Par exemple, un neurone additionne ses valeurs d'entrée, compare la somme résultante à une valeur de seuil, et émet un signal si cette somme est supérieure ou égale au seuil (modèle ultra-simplifié du fonctionnement d'un neurone biologique). Ces neurones sont par ailleurs associés en réseaux dont la topologie des connexions est variable : réseaux proactifs, récurrents, etc. Enfin, l'efficacité de la transmission des signaux d'un neurone à l'autre peut varier : on parle de poids synaptique susceptibles d'être modulés par des règles d'apprentissage (ce qui mime la plasticité synaptique des réseaux biologiques).

Une fonction des réseaux de neurones formels, à l'instar du modèle vivant, est d'opérer rapidement des classifications et d'apprendre à les améliorer. À l'opposé des méthodes traditionnelles de résolution informatique, on ne doit pas construire un programme pas à pas en fonction de la compréhension de celui-ci. Les paramètres importants de ce modèle sont les coefficients synaptiques et le seuil de chaque neurone, et la façon de les ajuster. Ce sont eux qui déterminent l'évolution du réseau en fonction de ses informations d'entrée. Il faut choisir un mécanisme permettant de les calculer et de les faire converger si possible vers une valeur assurant une classification aussi proche que possible de l'optimale. C'est ce qu'on nomme la phase d'apprentissage du réseau. Dans un modèle de réseau de neurones formels, apprendre revient donc à déterminer les coefficients synaptiques les plus adaptés à classifier les exemples présentés.

Premiers réseaux

Warren McCulloch (qui veut « comprendre comment on comprend ») et Walter Pitts publient en 1943 l'un des articles considéré comme ayant lancé la mode de l'intelligence artificielle : . Ils considèrent que le fonctionnement des neurones naturels évoque celui des portes logiques en électronique. Mais ils ne donnent pas d'indication méthodologique pour calculer la valeur des « coefficients synaptiques ». Cette question est pourtant au cœur des réflexions sur l'apprentissage, et connait un début de réponse grâce aux travaux du physiologiste canadien Donald Hebb en 1949 (The Organization of Behaviour.). Donald Hebb propose une règle permettant d'adapter la valeur des « coefficients synaptiques » à l'activité des unités qu'ils relient. Cette règle, connue sous le nom de « règle de Hebb », est présente presque partout dans les modèles actuels, même les plus sophistiqués.

L'idée de « coefficients synaptiques » qui s'auto-adaptent amène le psychologue Frank Rosenblatt à proposer en 1958 le modèle du perceptron.. C'est le premier système artificiel capable d'apprendre par expérience, y compris quand son instructeur commet des erreurs (ce en quoi il diffère nettement d'un système d'apprentissage logique formel). Les médias américains, dont le New York Times, publient une vague d'articles enthousiastes et annoncent pour bientôt une machine capable de tout reconnaitre, de penser, de marcher, se reproduire. Certains déclarent que le perceptron pourra bientôt faire de l'exploration spatiale. Le magazine Science dit que le perceptron pourra apprendre, prendre des décisions et traduire des langues..

Warren McCulloch, interviewé par Radio Canada en 1969 (peu avant son décès), explique que :

Cette même année 1969, un coup d'arrêt est donné à cette piste par Marvin Lee Minsky et Seymour Papert, qui estiment qu'imiter le cerveau est trop complexe. Ces derniers co-publient un ouvrage conséquent, pédagogique et apparemment complet, intitulé Perceptrons., mettant en exergue certaines des limitations théoriques, selon eux insurmontables, du perceptron, et plus généralement des classifieurs linéaires ; ces derniers ne peuvent pas traiter des problèmes non linéaires ou de connexité (par exemple, le cas de la fonction XOR).. Minsky et Paperts étendent implicitement ces limitations à tous modèles de réseaux de neurones artificiels. Paraissant alors dans une impasse, la Recherche sur les réseaux de neurones perd l'essentiel de ses financements publics, et le secteur industriel s'en détourna aussi. Les fonds destinés à l'intelligence artificielle furent redirigés plutôt vers la logique formelleBishop (2006), 193.. Cependant, les solides qualités de certains réseaux de neurones en matière adaptative (exemple : Adaline), leur permettant de modéliser de façon évolutive des phénomènes eux-mêmes évolutifs, les amèneront à être intégrés sous des formes plus ou moins explicites dans le corpus des systèmes adaptatifs; utilisés dans le domaine des télécommunications ou celui du contrôle de processus industriels.

En 1982, John Joseph Hopfield donne un nouveau souffle à la métaphore neuronale avec son article introduisant un nouveau modèle de réseau de neurones dit de HopfieldHopfield, J. J. Proc. natn. Acad. Sci. U.S.A. 79, 2554–2558 (1982).. L'article connait le succès pour plusieurs raisons, dont la principale est de teinter la théorie des réseaux de neurones de la rigueur propre aux physiciens. Le neuronal redevient un sujet d'étude acceptable, bien que le modèle souffre des limitations des modèles des années 1960, notamment l'impossibilité de traiter les problèmes non linéaires.

En 1991, John A. Hertz, Anders Krogh et Richard G. Palmer publient un essai fondamental, Introduction to the Theory of Neural Computation [https://api.pageplace.de/preview/DT0400.9780429968211_A35027492/preview-9780429968211_A35027492.pdf West view Press, reprint : Taylor & Francis, 2018..

Perceptron multicouche

En 1970, Seppo Linnainmaa publie la méthode générale de dérivation automatique (DA) des réseaux connectés discrets de fonctions différentiables imbriquées. En 1973, Dreyfus utilise la rétropropagation pour adapter les paramètres des contrôleurs proportionnellement aux gradients d'erreur.

L'algorithme de rétropropagation du gradient est formellement établi par Paul Werbos en 1974, et permet l'entraînement pratique des réseaux multicouches. En 1982, il a appliqué la méthode AD de Seppo Linnainmaa aux réseaux neuronaux de la manière qui est devenue largement utilisée... Son application est popularisée dans le perceptron multi-couche développé en 1986 par David Rumelhart, Ronald J. Williams et Geoffrey Hinton..

Les réseaux de neurones connaissent par la suite un essor considérable, dû en partie au développement de l'électronique numérique qui fournit davantage de puissance de calcul pour le développement de réseaux neuronaux artificiels dans les années 1980.

Cette théorie, l'une des plus importantes du domaine des statistiques, permet d'anticiper, d'étudier et de réguler les phénomènes liés au surapprentissage. Le surapprentissage est une difficulté à laquelle doivent faire face tous les systèmes d'apprentissage par l'exemple, que ceux-ci utilisent des méthodes d'optimisation directe (exemple : régression linéaire), itératives (exemple : l'algorithme du gradient), ou itératives semi-directes (gradient conjugué, espérance-maximisation...) et que ceux-ci soient appliqués aux modèles statistiques classiques, aux modèles de Markov cachés ou aux réseaux de neurones formels..

Réseau neuronal convolutif

Les réseaux de neurones évoluent avec un nouveau type de réseau non complètement connecté, pour alléger les modèles en nombre de paramètres, et améliorer les performances et leur capacité de généralisation. Une des premières applications a été la reconnaissance automatique des codes postaux aux États-Unis, avec le réseau LeNet-5.. En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour Convolutional Neural Networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel. Leur fonctionnement est inspiré par les processus biologiques, ils consistent en un empilage multicouche de perceptrons, dont le but est de prétraiter de petites quantités d'informations. Les réseaux neuronaux convolutifs ont de larges applications dans la reconnaissance d'image et vidéo, les systèmes de recommandation et le traitement du langage naturel.

Réseau de neurones à impulsions

Utilisation

Grâce à leur capacité de classification et de généralisation, les réseaux de neurones sont généralement utilisés dans des problèmes de nature statistique.

Les réseaux de neurones sont réellement utilisés, par exemple. : pour la classification d'espèces animales par espèce étant donné une analyse ADN ; classification d'image : reconnaissance de motif ; par exemple pour la reconnaissance optique de caractères (OCR), et notamment par les banques pour vérifier le montant des chèques, par La Poste pour trier le courrier en fonction du code postal, etc. ; ou bien encore pour le déplacement automatisé de robots mobiles autonomes ; approximation d'une fonction inconnue ;