En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative. L'agent cherche, au travers d'expériences itérées, un comportement décisionnel (appelé stratégie ou politique, et qui est une fonction associant à l'état courant l'action à exécuter) optimal, en ce sens qu'il maximise la somme des récompenses au cours du temps.
L'apprentissage par renforcement est l'une des trois grandes techniques d'apprentissage automatique, au côté de l'apprentissage supervisé et de l'apprentissage non supervisé.
Applications vignette|Jeux vidéo Atari. Hessel ont montré que l'apprentissage par renforcement donne des programmes meilleurs que les humains. vignette|Jeu de go. AlphaGo Zero sont des programmes qui ont appris à jouer grâce à l'apprentissage par renforcement. L'apprentissage par renforcement est utilisé dans plusieurs applications : robotique, gestion de ressources., vol d'hélicoptères., chimie.. Cette méthode a été appliquée avec succès à des problèmes variés, tels que le contrôle robotique. Andrew Y. Ng 2004, « Autonomous helicopter flight via reinforcement learning ». In NIPS 16., le pendule inversé., la planification de tâches, les télécommunications, le backgammon. et les échecs...
En 2015, Mnih ont montré que l'apprentissage par renforcement permettait de créer un programme jouant à des jeux Atari. Leur système apprend à jouer à des jeux, en recevant en entrée les pixels de l'écran et le score. Un point intéressant est que leur système n'a pas accès à l'état mémoire interne du jeu (sauf le score). En 2018, Hessel et al. ont combiné plusieurs techniques pour améliorer les performances du programme. Plus récemment, AlphaGo Zero est une nouvelle technique d'apprentissage par renforcement où l'agent apprend en étant son propre professeur.
Lillicrap et al. ont utilisé l'apprentissage par renforcement pour faire apprendre 20 tâches physiques à un système, comme relever un pendule, conduire une voiture, déplacer un robot sur pattes, et autres manipulations de dextérité.
L'apprentissage par renforcement est utilisé pour résoudre des problèmes d'optimisation, comme le problème de bin packing 3D. Pour le problème de bin packing 3D, il s'agit d'empiler des cubes de différentes tailles avec des contraintes (comme ne pas dépasser le volume disponible, ou "une boîte ne peut être au dessus d'une autre", etc.), en optimisant par exemple la hauteur totale. Dans un cadre apprentissage par renforcement, l'agent choisit de tourner une boîte, de placer une boîte à un certain endroit, etc.
Le concepteur de logiciels Quilter, dans le cadre de son , a créé une IA automatisant la conception de la carte de circuit imprimé (PCB) : traditionnellement, l'étape de disposition () des milliers de pistes et de composants sur la carte est manuelle, prend de quatre semaines à plus de trois mois et a un taux d'échec élevé sur les premières révisions. Ici, l'IA a été entraînée non pas sur des données humaines, mais en jouant un « jeu » , en s'inspirant des systèmes d'apprentissage par auto-jeu comme AlphaZero de DeepMind, pour dépasser les performances humaines et garantir la conformité aux contraintes électriques et thermiques. L'IA a conçu une carte mère et une carte fille incorporant pour un ordinateur complet capable de démarrer Debian, le tout fonctionnel dès la première tentative. Au lieu de plus de de travail humain, 30 à de révision et une semaine de délai total suffisent, faisant chuter le goulot d'étranglement de la conception d'une carte Michael Nuñez (2025) Quilter's AI just designed an 843‑part Linux computer that booted on the first try. Hardware will never be the same venturebeat ; 2025-12-10 ; consulté le=2025-12-11 | https://venturebeat.com/ai/quilters-ai-just-designed-an-843-part-linux-computer-that-booted-on-the..
Histoire
L'apprentissage par renforcement dérive de formalisations théoriques de méthodes de contrôle optimal, visant à mettre au point un contrôleur permettant de minimiser au cours du temps une mesure donnée du comportement d'un système dynamique. La version discrète et stochastique de ce problème est le processus de décision markovien, introduit par Bellman en 1957 R.E. Bellman, « A Markov decision process », Journal of Mathematical Mech., 6, 1957, p.679-684..
Parmi les premiers algorithmes d'apprentissage par renforcement, on compte le (), proposé par Richard Sutton en 1988 Sutton, R.S. (1988). Learning to predict by the method of temporal differences. Machine Learning, 3:9-44., et le . mis au point essentiellement par Chris Watkins en 1989 (thèse publiée en 1992) C.J.C.H. Watkins et P. Dayan, « Q-learning », Machine Learning, , 1992, ..
On a espéré que l'apprentissage par renforcement puisse aussi améliorer la capacité de raisonnement des LLM au-delà du modèle de base ; ce ne semble pas être le cas : il aide les modèles à trouver de meilleures réponses parmi leurs connaissances existantes, mais ne leur enseigne pas de nouveaux raisonnements. Les capacités de raisonnement sont en partie déjà présentes dans les grands modèles de langage basiques, qui, grâce à leur entraînement sur d’énormes corpus textuels et d'images, ont acquis implicitement des chaînes de raisonnement (« chaîne de pensée »), lesquelles améliorent nettement leur capacité de raisonnement complexe. ; l'apprentissage supplémentaire par renforcement ne semble pas conférer aux LLM de nouvelles plages de compétences., mais il améliore leur capacité à extraire et à articuler ces raisonnements de manière cohérente. Wei (2022) ont montré que quand on les incite correctement, ces modèles peuvent articuler des raisonnements complexes.
Interface agent-environnement
Processus de décision markovien Classiquement, l'apprentissage par renforcement repose sur un processus de décision markovien (MDP), qui propose un cadre pour le problème d'apprendre à réaliser un but. Un agent apprend et prend des décisions. Il réagit face à un environnement. Un problème peut-être défini comme un processus de décision markovien, lorsqu'il présente les propriétés suivantes :
un ensemble fini d'états de l'agent dans l'environnement. Un état peut inclure la position d'un agent, sa vitesse, la position d'autres objets ; un ensemble fini d'actions que l'agent peut effectuer ; Les actions peuvent être de bas niveau comme faire passer du courant dans un moteur d'un des bras d'un robot. Elles peuvent aussi être de haut niveau comme décider de prendre un petit déjeuner. Elles peuvent aussi être mentales ou calculatoires comme décider de faire attention à un objet et de lancer un traitement d'images sur ce dernier ; un ensemble de valeurs scalaires "récompenses" que l'agent peut obtenir. La récompense peut être à chaque étape comme gagner de l'altitude pour un objet volant, le score dans un jeu vidéo. Elle peut aussi être uniquement donnée qu'à la fin de partie : elle vaut typiquement 1 quand l'agent gagne et 0 quand il perd.
Trajectoire À chaque pas de temps t, l'agent perçoit son état . C'est une variable aléatoire. Il perçoit a priori l'ensemble des actions possibles dans l'état , même si l'on peut supposer pour simplifier que l'ensemble des actions est le même dans tous les étatsVoir p. 48, note en bas de page 3 de Reinforcement Learning Second Edition.. Il choisit une action et reçoit de l'environnement un nouvel état et une récompense . Ainsi, l'agent évolue dans l'environnement et la séquence des états-actions-récompenses s'appelle une trajectoire, et est définie comme suit :
S0, A0, R1, S1, A1, R2, S2, A2, R3, ...
Politique À partir de ses interactions, un algorithme d'apprentissage par renforcement calcule une politique , c'est-à-dire une fonction qui à chaque état préconise une action à exécuter, dont on espère qu'elle maximise les récompenses. La politique peut aussi être probabiliste. Dans ce cas, la politique s'écrit , c'est-à-dire que est la probabilité que l'agent choisisse d'exécuter a dans l'état s.
Gain Afin de quantifier le bon apprentissage de l'algorithme, on introduit le gain comme étant la somme des récompenses obtenues : où T est le temps où on atteint un état terminal dans le processus de décision markovien (MDP). Pour des MDPs sans état terminal, la somme infinie n'est peut-être pas bien définie. C'est pourquoi l'on introduit un facteur de dévaluation compris entre 0 et 1. On pose alors qui est convergente et bien définie. Selon la valeur de , on prend en compte les récompenses plus ou moins loin dans le futur pour le choix des actions de l'agent. Si = 0, l'agent est myope et ne prend que la récompense immédiate (en admettant que ).
Ainsi, la méthode de l'apprentissage par renforcement est particulièrement adaptée aux problèmes nécessitant un compromis entre la quête de récompenses à court terme et celle de récompenses à long terme.
Exploitation-exploration
alt=|gauche|vignette|Une rangée de machines à sous à Las Vegas. Un agent apprenant est sujet au compromis entre l'exploitation (refaire des actions, dont il sait qu'elles vont lui donner de bonnes récompenses) et l'exploration (essayer de nouvelles actions, pour apprendre de nouvelles choses). Ce compromis est bien illustré par l'exemple des bandits manchots. Dans ce cadre, il y a k machines à sous, dont la loi de probabilité est inconnue de l'agent apprenant (sinon, il utiliserait toujours une machine à sous d'espérance maximale). L'agent tire les bras des machines. Il peut alors soit :
exploiter ses connaissances et tirer les bras des machines qui lui ont apporté le plus de profit jusqu'à présent ; explorer, i.e. tester des bras non tirés ou dont le gain était plus faible. Le but de l'exploration est de découvrir une machine à sous prolifique.
Exploiter sans jamais explorer est une approche gloutonne. L'exploitation repose sur la définition de la valeur courante à un certain temps t d'un bras d'une machine noté a (pour action) :
.
Le choix glouton consiste à choisir une action a qui maximise . Dans cette approche gloutonne, l'agent exploite une des meilleures actions mais n'explore pas d'autres actions qui sont d'apparences moins bonnes. Le problème de l'approche gloutonne (exploitation seulement) est que l'on n'atteint pas une politique optimale.
Algorithmes Propriétés des algorithmes d'apprentissage
Model-based VS model-free. L'algorithme est basé sur un modèle () s'il prend le modèle de l'environnement en entrée.
Typiquement, l'algorithme prend le processus de décision markovien en entrée.
En particulier l'algorithme a accès à la fonction de transition et aux probabilités. L'algorithme a accès à , la probabilité d'être dans l'état et d'avoir la récompense depuis l'état en exécutant l'action .
A contrario, un algorithme est model-free s'il n'utilise pas de modèle en entrée. L'algorithme n'utilise pas les probabilités car il ne les connait pas.
Par contre bien sûr, un algorithme model-free dispose de structures de données pour les états et les actions.
On-policy VS off-policy.