La théorie de la commande optimale permet de déterminer la commande d'un système qui minimise (ou maximise) un critère de performance, éventuellement sous des contraintes pouvant porter sur la commande ou sur l'état du système. Cette théorie est une généralisation du calcul des variations, et elle fait partie de la théorie du contrôle. Elle comporte deux volets : le principe du maximum (ou du minimum, suivant la manière dont on définit l'hamiltonien) dû à Lev Pontriaguine et à ses collaborateurs de l'institut de mathématiques Steklov., et l'équation de Hamilton-Jacobi-Bellman, généralisation de l'équation de Hamilton-Jacobi, et conséquence directe de la programmation dynamique initiée aux États-Unis par Richard Bellman.. La théorie de la commande optimale fait partie de l'automatique et des mathématiques appliquées (optimisation des processus). En tant que telle, cette théorie généralise le calcul des variations. Elle a également un champ d'application en physique mathématique, et les développements théoriques actuels rejoignent les mathématiques pures.
Historique
Les idées sous-jacentes au principe du maximum et à la programmation dynamique sont fort anciennes et ont été intimement liées dès leur préhistoire. Elles ont été développées de manière indépendante et pratiquement simultanée, vers le milieu des années 1950, et elles continuent aujourd’hui d’avoir de nombreuses connexions.
La programmation dynamique a pour origine le principe de Huygens pour la propagation de la lumière : c’est le fameux principe des « sources intermédiaires » qui interprète les phénomènes de réflexion et de réfraction en supposant la propagation d'ondelettes sphériques secondaires issues d'une onde sphérique principale ; le principe de Huygens est lui-même fondé sur le principe de Fermat qui postule que la lumière suit le trajet dont le temps de propagation est minimal.
Le principe du maximum est une généralisation des équations de Hamilton du calcul des variations. L'invention de celui-ci remonte à la résolution du problème de la courbe brachistochrone, posé par Jean Bernoulli en 1696 ; il s’agit également d’un problème de temps minimal (comme l’indique la racine grecque : « βραχιστος (brachistos) », « le plus court » ; « χρονος (chronos) », « temps »). Ce problème fut résolu tout d’abord par Jean Bernoulli lui-même (ainsi que d'autres savants, dont son frère Jacques Bernoulli, Leibniz et Newton) grâce à une analogie avec le problème de propagation de la lumière et l'application du principe de Huygens ; c’était en quelque sorte utiliser la programmation dynamique avant la lettre.
Euler, élève de Jean Bernoulli, a posé ensuite les premières bases du Calcul des variations, en réponse à la demande de son maître de systématiser sa solution. À cette occasion, il a ébauché à partir de considérations géométriques la méthode des « petites variations », méthode à laquelle Lagrange a donné, un peu plus tard, une forme analytique plus élégante..
Weierstrass, au milieu du , soit un siècle plus tard, définit la notion d'extremum fort et établit une condition nécessaire ainsi qu'une condition suffisante pour qu'il y ait un tel extremum.
Le principe du maximum est une généralisation de la condition nécessaire d'extremum fort de Weierstrass, obtenue en remplaçant l'hamiltonien par un pseudo-hamiltonien (voir infra). Ce principe avait déjà été entrevu par Constantin Carathéodory dès 1935 et plus précisément encore par Magnus Hestenes en 1950. Mais c'est sur la base des intuitions de Pontriaguine et sous sa direction que le principe du maximum, tel que nous l'entendons aujourd'hui, a été démontré tout d'abord pour les problèmes de temps minimal, puis dans le cas général par V. G. Boltyanskii, R. V. Gamkrelidze et L. I. Rozonoer entre 1955 et 1959. La mise en œuvre de la technique des « variations en aiguille », déjà utilisée par James McShane en 1939, est néanmoins due à Boltyanskii, qui a également montré que le principe du maximum n'était qu'une condition nécessaire d'optimalité, et qui a donné au principe du maximum la forme qu'il a prise dans le célèbre livre de Pontriaguine et ses collaborateurs, paru en russe en 1961 ... Tandis que le quatrième auteur de ce livre, E. F. Michtchenko, a, quant à lui, résolu un problème statistique de commande optimale).
C'est à la suite de la contribution de Pontriaguine et ses collaborateurs que la variable de commande d'un système a été notée u, управление (upravlenie) signifiant commande en russeR.V. Gamkrelidze, Discovery of the Maximum Principle, J. of Dynamical and Control Systems, 5(4), 85-99, 1999..
Les travaux récents ont permis de généraliser ces deux approches sans les modifier profondément ; ils se sont pour une bonne part tournés vers l'affaiblissement des conditions de différentiabilité dans le cadre de l'« analyse non lisse » initiée par Frank H. Clarke, en utilisant les « gradients généralisés » (ou « différentielles généralisées ») introduits par cet auteur .... Cela a conduit à envisager des commandes de nature plus générale que les fonctions continues par morceaux du théorème originel de Pontriaguine et ses collaborateurs : notamment des fonctions mesurables au sens de Lebesgue. Un autre type d'extension porte sur les systèmes à retard . et plus généralement de dimension infinie..
D'autre part, Boltyanskii a donné une « version faible » du principe du maximum pour les systèmes à temps discret après avoir développé à cette fin des techniques mathématiques spécifiques., mais on peut démontrer sans difficulté son résultat à partir des conditions de Karush, Kuhn et Tucker. Sous certaines conditions de convexité, on retrouve toutefois un véritable principe du maximum pour ce type de systèmes..
Principe du maximum et programmation dynamique : différences et similitudes
Par nature, le principe du maximum de Pontriaguine est une condition nécessaire d’optimalité, tandis que la programmation dynamique fournit une condition suffisante. D’autre part, le principe du maximum donne comme solution une commande en boucle ouverte (fonction du temps) alors que la programmation dynamique conduit à une commande en boucle fermée (fonction de l’état du système).
Toutefois, la commande solution du principe du maximum peut, dans les cas favorables, être mise sous forme d’une commande en boucle fermée. Un des grands avantages du principe du maximum sur la programmation dynamique est une plus grande facilité de mise en œuvre, celle-ci, quand elle est appliquée aux systèmes à temps continu, impliquant la résolution d’une équation aux dérivées partielles (l’équation d'Hamilton-Jacobi-Bellman), tandis que celui-là se ramène à la résolution d’équations différentielles ordinaires (résolution qui est toutefois sérieusement compliquée par le fait que le problème est « aux deux bouts »).
La programmation dynamique s'applique aussi bien aux systèmes déterministes qu'aux systèmes stochastiques., tandis que le principe du maximum ne s'applique (avec quelques exceptions.) qu'aux systèmes déterministes.
Néanmoins, une étape commune à ces approches est le maximisation du pseudo-hamiltonien sur l'ensemble des commandes admissibles. Comme Pontriaguine et ses collaborateurs l'ont eux-mêmes noté, le principe du maximum peut se déduire du théorème de Bellman, dont la démonstration est fort simple, si l'on fait des hypothèses de régularité suffisantes sur la « fonction de Bellman ». Ces hypothèses ne sont toutefois pas vérifiées dans les cas où le principe du maximum a tout son intérêt, et pour lesquels il a été conçu, par exemple dans celui de la « commande Bang-Bang ».
Formulation d'un problème de commande optimale
Système et critère
Nous considérons le problème de commande optimale sans contrainte sur l'état avec les hypothèses de différentiabilité habituelles. Le problème, ou plutôt sa solution, se complique considérablement en cas de contrainte sur l'état, car un des multiplicateurs de Lagrange est alors une mesure qui n'est pas absolument continue par rapport à la mesure de Lebesgue... Pour simplifier les notations, nous considérons le cas où l'instant initial et l'état initial sont fixés. Soit le système : ,
où est un intervalle compact de la droite réelle contenant et où est une fonction continue de dans , étant un espace de Banach (le lecteur peut supposer que ), un ouvert de , et un espace topologique (le plus souvent, un sous-ensemble de ). La variable est l'état et est la commande (voir l'article Représentation d'état). La fonction est supposée continûment différentiable pour tout .
Soit le critère de performance
où le lagrangien vérifie les mêmes conditions que et est continûment différentiable sur .
Notions de commande admissible et d'optimum
Soit une sous-variété différentiable de ., appelée variété finale. Nous dirons qu'une fonction est admissible si elle est continue par morceaux et transfère le couple de la condition initiale à une condition finale (avec et , ). L'ensemble des commandes admissibles est noté . Les hypothèses impliquent que est localement lipschitzienne, donc si est admissible, est absolument continue, et la notion de solution est donc classique (l'égalité étant vérifiée presque partout au sens de Lebesgue).
Soit , et désignons par et l'état et l'instant final correspondants. Soit et le sous-ensemble de formé des commandes vérifiant la condition suivante : l'état et l'instant final correspondants sont tels que
et .
La commande est dite optimale localement. s'il existe tel que , et optimale globalement si .
Pour petit, on peut considérer comme un « petit voisinage » de . On notera que dans un tel voisinage, n'est pas nécessairement proche de à chaque instant t. Si est un sous-ensemble d'un espace vectoriel, une « petite variation » de u peut notamment être une variation de grande amplitude mais de faible durée, de sorte qu'elle entraîne une « petite variation » de la fonction . Cette formulation est identique à celle de Weierstrass, et indique que l'on recherche un « extremum fort » (un « extremum faible » serait obtenu avec uniquement des variations de u qui seraient de faible amplitude).
Pseudo-hamiltonien
On appelle pseudo-hamiltonien la fonction
(où est le dual de ) définie par
.
(où est le crochet de dualité).
Remarques
Dans la grande majorité des applications, .
Néanmoins, on peut supposer que est une variété différentielle (éventuellement banachique), le champ de vecteurs f étant tel que appartient à l'espace tangent ; appartient alors au fibré cotangent , de sorte que dans le crochet , est dans l'espace cotangent . Cette formulation est indispensable, par exemple, pour le calcul des géodésiques dans un espace de Riemann.
Si l'on suppose que est un sous-ensemble de , on peut envisager des commandes admissibles plus générales que des fonctions continues par morceaux, par exemple, des fonctions mesurables au sens de Lebesgue. On peut alors remplacer par où est une fonction de dans l'ensemble des sous-ensembles de (appelée « multifonction ») dont le graphe est -mesurable, où est la tribu de Lebesgue de , est la tribu borélienne de , et est la tribu engendrée par les ensembles .
Principe du maximum
Énoncé
Le dual de est identifié avec . On note l'espace vectoriel des fonctions continues par morceaux de dans . Soit d'autre part les deux équations canoniques , .
Notons l'espace tangent à la variété au point et l'orthogonal de dans , c'est-à-dire l'ensemble des formes linéaires continues telles que . On appelle condition de transversalité la relation
.
Enfin, nous appellerons condition de non trivialité l'inégalité
.
On montre le résultat suivant. :