Commande optimale

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

La théorie de la commande optimale permet de déterminer la commande d'un système qui minimise (ou maximise) un critère de performance, éventuellement sous des contraintes. Le cas le plus classique (et le plus simple) est celui de contraintes de type inégalité sur la commande, mais on peut aussi envisager des contraintes de même type sur l'état. Cette théorie est une généralisation du calcul des variations. Elle comporte deux volets : le principe du maximum (ou du minimum) dû à Lev Pontriaguine et à ses collaborateurs du Steklov Institute de Moscou[1], et l'équation de Hamilton-Jacobi-Bellman, généralisation de l'équation de Hamilton-Jacobi, et conséquence directe de la programmation dynamique initiée aux États-Unis par Richard Bellman[2]. La théorie de la commande optimale fait partie de l'automatique et des mathématiques appliquées (optimisation des processus). En tant que cette théorie généralise le calcul des variations, elle a également un champ d'application en physique mathématique, et les développements théoriques actuels rejoignent les mathématiques pures.

Historique[modifier | modifier le code]

Les idées sous-jacentes au principe du maximum et à la programmation dynamique sont fort anciennes et ont été intimement liées dès leur préhistoire. Elles ont été développées de manière indépendante et pratiquement simultanée, vers le milieu des années 1950, et elles continuent aujourd’hui d’avoir de nombreuses connexions.

La programmation dynamique a pour origine le principe de Huygens pour la propagation de la lumière  : c’est le fameux principe des « sources intermédiaires » qui interprète les phénomènes de réflexion et de réfraction en supposant la propagation d'ondelettes sphériques secondaires issues d'une onde sphérique principale ; le principe d'Huygens est lui-même fondé sur le principe de Fermat qui postule que la lumière suit le trajet dont le temps de propagation est minimal.

Le principe du maximum est une généralisation des équations d' Hamilton du calcul des variations. L’invention de celui-ci remonte à la résolution du problème de la courbe brachistochrone, posé par Jean Bernoulli en 1696 ; il s’agit également d’un problème de temps minimal (comme l’indique la racine grecque  : « βραχιστος (brachistos) », « le plus court » ; « χρονος (chronos) », « temps »). Ce problème fut résolu tout d’abord par Jean Bernoulli lui-même (ainsi que d'autres savants, dont son frère Jacques Bernoulli, Leibniz et Newton) grâce à une analogie avec le problème de propagation de la lumière et l'application du principe de Huygens ; c’était en quelque sorte utiliser la programmation dynamique avant la lettre. Puis Euler, élève de Jean Bernoulli, a posé les premières bases du Calcul des variations, en réponse à la demande de son maître de systématiser sa solution ; Euler, à cette occasion, a ébauché à partir de considérations géométriques la méthode des « petites variations », méthode à laquelle Lagrange a donné, un peu plus tard, une forme analytique plus élégante[3]. Il revenait à Weierstrass, au milieu du dix-neuvième siècle, soit un siècle plus tard, de définir la notion d'extremum fort et d'établir une condition nécessaire ainsi qu'une condition suffisante pour qu'il y ait un tel extremum. Le principe du maximum est une généralisation de la condition nécessaire d'extremum fort de Weierstrass, obtenue en remplaçant l'hamiltonien par un pseudo-hamiltonien (voir infra). Ce principe avait déjà été entrevu par Constantin Carathéodory dès 1935 et plus précisément encore par Magnus Hestenes en 1950. Mais c'est sur la base des intuitions de Pontryagin et sous sa direction que le principe du maximum, tel que nous l'entendons aujourd'hui, a été démontré tout d'abord pour les problèmes de temps minimal, puis dans le cas général par V. G. Boltyanskii, R. V. Gamkrelidze et L. I. Rozonoer entre 1955 et 1959. La mise en œuvre de la technique des « variations en aiguille », déjà utilisée par James McShane en 1939, est néanmoins due à Boltyanskii, qui a également montré que le principe du maximum n'était qu'une condition nécessaire d'optimalité, et qui a donné au principe du maximum la forme qu'il a prise dans le célèbre livre de Pontryagin et ses collaborateurs, paru en russe en 1961[1],[4],[5] (le quatrième auteur de ce livre, E. F. Michtchenko, a quant à lui résolu un problème statistique de commande optimale). [C'est suite à la contribution de Pontryagin et ses collaborateurs que la variable de commande d'un système a été notée u, управление (upravlenie) signifiant commande en russe[6]].

Les travaux récents ont permis de généraliser ces deux approches sans les modifier profondément ; ils se sont pour une bonne part tournés vers l'affaiblissement des conditions de différentiabilité dans le cadre de l'« analyse non lisse » initiée par Frank H. Clarke, en utilisant les « gradients généralisés » (ou « différentielles généralisées ») introduits par cet auteur [7],[8],[9]. Cela a conduit à envisager des commandes de nature plus générale que les fonctions continues par morceaux du théorème originel de Pontryagin et ses collaborateurs  : notamment des fonctions mesurables au sens de Lebesgue. Un autre type d'extension porte sur les systèmes à retard [10] et plus généralement de dimension infinie[11]. D'autre part, Boltyanskii a donné une « version faible » du principe du maximum pour les systèmes à temps discret après avoir développé à cette fin des techniques mathématiques spécifiques[12], mais on peut démontrer sans difficulté son résultat à partir des conditions de Karush, Kuhn et Tucker[13]. Sous certaines conditions de convexité, on retrouve toutefois un véritable principe du maximum pour ce type de systèmes[14].

Principe du maximum et programmation dynamique : différences et similitudes[modifier | modifier le code]

Par nature, le principe du maximum de Pontryagin est une condition nécessaire d’optimalité, tandis que la programmation dynamique fournit une condition suffisante. D’autre part, le principe du maximum donne comme solution une commande en boucle ouverte (fonction du temps) alors que la programmation dynamique conduit à une commande en boucle fermée (fonction de l’état du système).

Toutefois, la commande solution du principe du maximum peut, dans les cas favorables, être mise sous forme d’une commande en boucle fermée. Un des grands avantages du principe du maximum sur la programmation dynamique est une plus grande facilité de mise en œuvre, celle-ci, quand elle est appliquée aux systèmes à temps continu, impliquant la résolution d’une équation aux dérivées partielles (l’équation d'Hamilton-Jacobi-Bellman), tandis que celui-là se ramène à la résolution d’équations différentielles ordinaires (résolution qui est toutefois sérieusement compliquée par le fait que le problème est « aux deux bouts »).

La programmation dynamique s'applique aussi bien aux systèmes déterministes qu'aux systèmes stochastiques[2],[15], tandis que le principe du maximum ne s'applique (avec quelques exceptions[16]) qu'aux systèmes déterministes.

Néanmoins, une étape commune à ces approches est le maximisation du pseudo-hamiltonien sur l'ensemble des commandes admissibles. Comme Pontryagin et ses collaborateurs l'ont eux-mêmes noté[1], le principe du maximum peut se déduire du théorème de Bellman, dont la démonstration est fort simple, si l'on fait des hypothèses de régularité suffisantes sur la « fonction de Bellman ». Ces hypothèses ne sont toutefois pas vérifiées dans les cas où le principe du maximum a tout son intérêt, et pour lesquels il a été conçu, par exemple dans celui de la « commande Bang-Bang ».

Formulation d'un problème de commande optimale[modifier | modifier le code]

Système et critère[modifier | modifier le code]

Nous considérons le problème de commande optimale sans contrainte sur l'état avec les hypothèses de différentiabilité habituelles (le problème, ou plutôt sa solution, se complique considérablement en cas de contrainte sur l'état, car un des multiplicateurs de Lagrange est alors une mesure qui n'est pas absolument continue par rapport à la mesure de Lebesgue[17],[18]). Pour simplifier les notations, nous considérons également le cas d'un instant et d'un état initiaux fixés. Soit le système

\dot{x}=f\left( t,x,u\right),
x\left( t_{0}\right) =x_{0}, t\in \mathcal{I}

\mathcal{I} est un intervalle compact de la droite réelle contenant t_{0} et où f est une fonction continue de \mathcal{I}\times \Omega\times \mathbf{U} dans \mathbf{X}, \mathbf{X} étant un espace de Banach (le lecteur peut supposer que \mathbf{X}=\mathbb R^n), \Omega un ouvert de \mathbf{X}, et \mathbf{U} un espace topologique (le plus souvent, un sous-ensemble de \mathbb R^m). La variable x est l'état et u est la commande (voir l'article Représentation d'état). La fonction x \mapsto f(t,x,u) est supposée continûment différentiable pour tout (t,u) \in \mathcal{I}\times\mathbf{U}.

Soit le critère de performance

J(u)=K\left( t_{f},x_{f}\right) +\int_{t_{0}}^{t_{f}}\mathcal L\left( t,x\left(t\right) ,u\left( t\right) \right) dt

où le lagrangien \mathcal L vérifie les mêmes conditions que f et K est continûment différentiable sur \mathcal{V}_{f}.

Notions de commande admissible et d'optimum[modifier | modifier le code]

Soit \mathcal{V}_{f} une sous-variété différentiable de \mathcal{I}\mathbf{\times }\mathbf{X}[19], appelée variété finale. Nous dirons qu'une fonction u:\mathcal{I}\rightarrow \mathbf{U} est admissible si elle est continue par morceaux et transfère le couple \left( t,x\right) de la condition initiale \left( t_{0},x_{0}\right) à une condition finale \left( t_{f},x_{f}\right) \in \mathcal{V}_{f} (avec x\left( t_{f}\right) =x_{f} et t_{f}>t_{0}, t_f \in \mathcal I). L'ensemble des commandes admissibles est noté \mathcal{U}. Les hypothèses impliquent que f est localement lipschitzienne, donc si u est admissible, x est absolument continue, et la notion de solution est donc classique (l'égalité \dot{x}(t)=f\left( t,x(t),u(t)\right) étant vérifiée presque partout au sens de Lebesgue).

Soit u^{\ast }\in \mathcal{U}, et désignons par x^{\ast } et t_{f}^{\ast } l'état et l'instant final correspondants. Soit \varepsilon >0 et \mathcal{U}_{\varepsilon } le sous-ensemble de \mathcal{U} formé des commandes u\in \mathcal{U} vérifiant la condition suivante : l'état x et l'instant final t_{f} correspondants sont tels que

\left\vert t_{f}-t_{f}^{\ast }\right\vert <\varepsilon \quad et \quad \left\Vert x\left( t\right) -x^{\ast }\left( t\right) \right\Vert
<\varepsilon , \forall t\in \left[ t_{0},t_{f}\right] \cap \left[
t_{0},t_{f}^{\ast }\right].

La commande u^{\ast } est dite optimale localement[20] s'il existe \varepsilon >0 tel que J(u)\leq J(u^{\ast }), \forall u\in \mathcal{U}_{\varepsilon }, et optimale globalement si J(u)\leq J(u^{\ast }), \forall u\in \mathcal{U}.

Pour \varepsilon petit, on peut considérer \mathcal{U}_{\varepsilon } comme un « petit voisinage » de u^{\ast }. On notera que dans un tel voisinage, u(t) n'est pas nécessairement proche de u^\ast(t) à chaque instant t. Si \mathbf{U} est un sous-ensemble d'un espace vectoriel, une « petite variation » de u peut notamment être une variation \delta u de grande amplitude mais de faible durée, de sorte qu'elle entraîne une « petite variation » de la fonction x:t\mapsto x(t). Cette formulation est identique à celle de Weierstrass, et indique que l'on recherche un « extremum fort » (un « extremum faible » serait obtenu avec uniquement des variations de u qui seraient de faible amplitude).

Pseudo-hamiltonien[modifier | modifier le code]

On appelle pseudo-hamiltonien la fonction

\mathcal{H}:\mathcal{I}\times\Omega\times \mathbf{U}\times \left\{ 0,1\right\} \times
\mathbf{X}^{\prime}\rightarrow \mathbb{R}

(où \mathbf{X}^{\prime} est le dual de \mathbf{X}) définie par

\mathcal{H}\left( t,x,u,\lambda ,p^{\prime }\right) =\left\langle p^{\prime
}|f\left( t,x,u\right) \right\rangle -\lambda \mathcal L\left( t,x,u\right).

(où \left\langle . | .\right\rangle est le crochet de dualité).

Remarques[modifier | modifier le code]

  • Dans la grande majorité des applications, \mathbf{X}=\mathbb R^n.
  • Si l'on suppose que \mathbf{U} est un sous-ensemble de \mathbb R^m, on peut envisager des commandes admissibles plus générales que des fonctions continues par morceaux, par exemple, des fonctions mesurables au sens de Lebesgue. On peut alors remplacer \mathbf{U} par \mathbf{U}(t)t\mapsto \mathbf{U}(t) est une fonction de \mathcal I dans l'ensemble des sous-ensembles de \mathbb R^n (appelée « multifonction ») dont le graphe est \mathcal L \times \mathcal B-mesurable, où \mathcal L est la tribu de Lebesgue de \mathcal I, \mathcal B est la tribu borélienne de \mathbb R^n, et \mathcal L \times \mathcal B est la tribu engendrée par les ensembles A \times B, A \in \mathcal L, B \in \mathcal B[8],[9].

Principe du maximum[modifier | modifier le code]

Énoncé[modifier | modifier le code]

Le dual de \mathbb{R}\times\mathbf{X} est identifié avec \mathbb{R}\times\mathbf{X}^\prime. On note KC^1\left( \mathcal{I};\mathbf{X}^\prime\right) l'espace vectoriel des fonctions continues par morceaux de \mathcal{I} dans \mathbf{X}^\prime. Soit d'autre part les deux équations canoniques

\dot{x}^{\ast }=\frac{\partial \mathcal{H}}{\partial p^{\prime }}\left(
t,x^{\ast },u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right),
\dot{p}^{\prime \ast }=-\frac{\partial \mathcal{H}}{\partial x}\left( t,x^{\ast
},u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right) .

Notons T_{\left( t_{f}^{\ast },x_{f}^{\ast }\right) }\left( \mathcal{V}_{f}\right) l'espace tangent à la variété \mathcal{V}_{f} au point \left( t_{f}^{\ast },x_{f}^{\ast }\right) et N_{\left( t_{f}^{\ast },x_{f}^{\ast }\right) }\left( \mathcal{V}
_{f}\right) l'orthogonal de T_{\left( t_{f}^{\ast },x_{f}^{\ast }\right) }\left( \mathcal{V}_{f}\right) dans \mathbb{R}\times\mathbf{X}^\prime, c'est-à-dire l'ensemble des formes linéaires continues k^{\prime }\in\mathbb{R}\times\mathbf{X}^\prime telles que \left\langle k^{\prime } | h\right\rangle =0,\forall h\in T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right) }\left( \mathcal{V}_{f}\right). On appelle condition de transversalité la relation

0\in \left ( \lambda ^{\ast }\frac{\partial K}{\partial t}\left( t_{f}^{\ast
},x_{f}^{\ast }\right) -\mathcal{H}\left( t_{f}^{\ast },x_{f}^{\ast
},u^{\ast }\left( t_{f}^{\ast }\right) ,\lambda ^{\ast },p^{\prime \ast
}\left( t_{f}^{\ast }\right) \right) , \lambda ^{\ast }\frac{\partial K}{
\partial x}\left( t_{f}^{\ast },x_{f}^{\ast }\right) +p^{\prime \ast }\left(
t_{f}^{\ast }\right) \right) +N_{\left( t_{f}^{\ast },x_{f}^{\ast }\right)
}\left( \mathcal{V}_{f}\right) .

Enfin, nous appellerons condition de non trivialité l'inégalité

\left( \lambda^\ast,p^{\prime \ast }\left( t_{f}^{\ast }\right) \right) \neq 0.

On montre le résultat suivant[1],[21] :

Théorème de Pontryagin-Boltyanskii — Supposons (sauf quand l'état final est libre et l'instant final fixé) que \mathbf{X} soit de dimension finie. Pour que la commande u^{\ast }\in\mathcal{U} soit optimale localement, il est nécessaire qu'il existe un état adjoint p^{\prime \ast }\in KC^1\left( \mathcal{I};\mathbf{X}^\prime\right) et un multiplicateur de Lagrange \lambda ^{\ast }\in \left\{ 0,1\right\} pour lesquels les deux équations canoniques, la condition de transversalité et la condition de non trivialité soient satisfaites, que la fonction t\mapsto \mathcal{H}\left( t,x^{\ast }\left( t\right) ,u^{\ast }\left(
t\right) ,\lambda ^{\ast },p^{\prime \ast }\left( t\right) \right) soit continue, et que le Principe du maximum

\mathcal{H}\left( t,x^{\ast }\left( t\right) ,u^{\ast }\left( t\right)
,\lambda ^{\ast },p^{\prime \ast }\left( t\right) \right) \geq \mathcal{H}
\left( t,x^{\ast }\left( t\right) ,u,\lambda ^{\ast },p^{\prime \ast }\left(
t\right) \right) ,\forall u\in \mathbf{U}

soit vérifié en tout point t\in \left[ t_{0},t_{f}^{\ast }\right] auquel la commande u^\ast est continue. On a en tout point auquel u^\ast et p^{\prime \ast } sont continues (donc sauf en un nombre fini de points)

\frac{d}{dt}\mathcal{H}\left( t,x^{\ast }\left( t\right) ,u^{\ast }\left(
t\right) ,\lambda ^{\ast },p^{\prime \ast }\left( t\right) \right) =\frac{
\partial }{\partial t}\mathcal{H}\left( t,x^{\ast }\left( t\right) ,u^{\ast
}\left( t\right) ,\lambda ^{\ast },p^{\prime \ast }\left( t\right) \right)

et en particulier, si le pseudo-hamiltonien \mathcal{H} ne dépend pas explicitement du temps,

\mathcal{H}\left( x^{\ast }\left( t\right) ,u^{\ast }\left( t\right)
,\lambda ^{\ast },p^{\prime \ast }\left( t\right) \right) =C^{te}
.

La démonstration de ce théorème occupe près de 40 pages dans l'ouvrage de Pontryagin et ses collaborateurs[1]. Lorsque l'état final est astreint à appartenir à une sous-variété de \mathbf{X} de codimension infinie, des variations en aiguille de la commande ne suffisent plus (elles ne donnent pas suffisamment de degrés de liberté)[22] et un contre-exemple construit par Yu Vladimirovich Egorov en 1963 montre que le Principe du maximum est inexact.

Une justification de ce théorème est donnée plus loin, à partir du théorème de Bellman. Voir également l'utilisation du Lemme de Du Bois-Reymond généralisé lorsque \mathbf{U} est un ouvert de \mathbb R^m et qu'on ne fait que des « variations faibles » de la commande.

Remarque[modifier | modifier le code]

Supposons que l'instant initial t_0 et l'état initial x_0 ne soient plus fixé, et qu'on ait seulement une condition initiale \left( t_{0},x_{0}\right) \in \mathcal{V}_{0}\mathcal{V}_{0} est une sous-variété différentiable de \mathcal{I}\mathbf{\times }\mathbf{X} (variété initiale). On doit alors ajouter la condition de transversalité

0\in \left( -\mathcal{H}\left( t_{0}^{\ast },x_{0}^{\ast
},u^{\ast }\left( t_{0}^{\ast }\right) ,\lambda ^{\ast },p^{\prime \ast
}\left( t_{0}^{\ast }\right) \right) , p^{\prime \ast }\left(
t_{0}^{\ast }\right)\right) +N_{\left( t_{0}^{\ast },x_{0}^{\ast }\right)
}\left( \mathcal{V}_{0}\right) .

Cas particuliers[modifier | modifier le code]

Nous supposons maintenant que la variété \mathcal{V}_{f} est de la forme \mathcal{T}_{f}\times \mathcal{X}_{f}\mathcal{T}_{f} et \mathcal{X}_{f} sont des sous-variétés de \mathcal{\mathbb{R}} et de \mathbf{X}, respectivement. L'équation de transversalité s'écrit donc

(a) 0\in \lambda ^{\ast }\frac{\partial K}{\partial t}\left( t_{f}^{\ast
},x_{f}^{\ast }\right) -\mathcal{H}\left( t_{f}^{\ast },x_{f}^{\ast
},u^{\ast }\left( t_{f}^{\ast }\right) ,\lambda ^{\ast },p^{\prime \ast
}\left( t_{f}^{\ast }\right) \right) +N_{t_{f}^{\ast }}\left( \mathcal{T}
_{f}\right),
(b) 0\in \lambda ^{\ast }\frac{\partial K}{\partial x}\left( t_{f}^{\ast
},x_{f}^{\ast }\right) +p^{\prime \ast }\left( t_{f}^{\ast }\right)
+N_{t_{f}^{\ast }}\left( \mathcal{X}_{f}\right).

Dans le cas d'un instant final libre, on a \mathcal{T}_{f}=\mathcal{\mathbb{R}}, par conséquent N_{t_{f}^{\ast }}\left( \mathcal{T}_{f}\right)=0 et (a) devient

(a') \lambda ^{\ast }\frac{\partial K}{\partial t}\left( t_{f}^{\ast
},x_{f}^{\ast }\right) =\mathcal{H}\left( t_{f}^{\ast },x_{f}^{\ast
},u^{\ast }\left( t_{f}^{\ast }\right) ,\lambda ^{\ast },p^{\prime \ast
}\left( t_{f}^{\ast }\right) \right)

alors que dans le cas d'un instant final fixé, \mathcal{T}_{f}=\left\{ t_{f}\right\} et N_{t_{f}^{\ast }}\left( \mathcal{T}_{f}\right) =\left\{ 0\right\}, donc (a) est trivialement vérifiée. Dans les deux cas on a une équation: (a') dans le premier, t_{f}^{\ast }=t_{f} dans le second.

Dans le cas d'un état final libre, on a \mathcal{X}_{f}=\mathbf{X}, par conséquent N_{x_{f}^{\ast }}\left( \mathcal{X}_{f}\right)=0 et (b) devient

(b') p^{\prime \ast }\left( t_{f}^{\ast }\right) =-\lambda ^{\ast }\frac{
\partial K}{\partial x}\left( t_{f}^{\ast },x_{f}^{\ast }\right)

et la condition de non trivialité entraîne \lambda=1. Dans le cas d'un état final fixé, \mathcal{X}_{f}=\left\{ x_{f}\right\} et N_{x_{f}^{\ast }}\left( \mathcal{X}_{f}\right) =\left\{ 0\right\}, donc (b) est trivialement vérifiée. Dans les deux cas on a n équations, si \mathbf{X} est de dimension n : (b') dans le premier, x_{f}^{\ast }=x_{f} dans le second.

Commande Bang-Bang[modifier | modifier le code]

Considérons maintenant le problème de commande en temps minimal. L'espace topologique \mathbf{U} est le sous-ensemble de \mathbb{R}^{m} défini par \underline{u_{i}}\leq u_{i}\leq \overline{u_{i}} \left( 1\leq i\leq
m\right) . Le critère est J=t_{f}-t_{0}, ce qui est un cas particulier de l'expression donnée plus haut avec K=0 et l=1. Le problème est évidemment à instant final libre, et il est à état final fixé: \mathcal{X}_{f}=\left\{ 0\right\} . On suppose que x=0, u=0 est un point d'équilibre et que le système est affine en la commande, donc de la forme indiquée avec f\left( t,x,u\right) =h\left( t,x\right)+g\left( t,x\right) uh\left( t,0\right)=0. Représentons p^{\prime } par la ligne d'éléments p_{i}\left( 1\leq i\leq
n\right) et g par la matrice d'éléments g_{i,j}. Il vient

\mathcal{H}\left( t,x,u,\lambda ,p^{\prime }\right) =\left\langle p^{\prime
}|h\left( t,x\right) \right\rangle +\sum_{j=1}^{m}\left(
\sum_{i=1}^{n}p_{i}g_{ij}\left( t,x\right) \right) u_{j}+\lambda.

Si \lambda^{\ast }=0, on a également p^{\prime \ast }=0 d'après (b'), ce qui contredit la condition de non trivialité; donc, \lambda=1. Le Principe du maximum implique que

u_{j}^{\ast }\left( t\right) =\overline{u_{j}} (resp. \underline{u_{j}}) si \sum_{i=1}^{n}p_{i}^{\prime \ast }\left( t\right) g_{ij}\left( t,x^{\ast
}\left( t\right) \right) >0 (resp. <0).

Cette commande toujours égale (dans le cas où elle a une seule composante) à sa valeur minimale ou à sa valeur maximale, avec des commutations. Dans le cas de systèmes linéaires d'ordre 2, on peut trouver des solutions explicites fondées sur le portrait de phase[1]. D'autre part, supposons le système linéaire stationnaire d'ordre n et commandable. Si les valeurs propres de la matrice d'état sont toutes réelles, le nombre de commutations est au plus égal à n-1. Si ces valeurs propres sont toutes dans le demi-plan gauche et 0 appartient à l'intérieur de \mathbf{U}, la commande optimale existe et est unique[1].

Condition suffisante d'optimalité sous forme de Principe du maximum[modifier | modifier le code]

Supposons que le système soit linéaire et de dimension finie, soit

f(t,x,u)=A(t)x+B(t)u

où les fonctions t\mapsto A(t) et t\mapsto B(t) sont continues, et que les fonctions K et l du critère soient continûment différentiables. Supposons également que la variété \mathcal{V}_f soit affine et que l'instant final t_f soit fixé. Supposons enfin que l'ensemble U et la fonction x_f \mapsto K(t_f,x_f) soient convexes, ainsi que la fonction (x,u) \mapsto \mathcal L(t,x,u) pour tout t \in \mathcal I. Dans ce cas, les conditions de Pontryagin avec \lambda ^{\ast }=1 sont suffisantes pour que commande u ^{\ast } soit optimale globalement. Si de plus la fonction (x,u) \mapsto \mathcal L(t,x,u) est convexe, strictement par rapport à u, alors il y a unicité de la commande optimale[13].

Programmation dynamique (cas déterministe)[modifier | modifier le code]

Reprenons le problème de commande optimale, tel qu'il a été posé plus haut.

Équation de Hamilton-Jacobi-Bellman[modifier | modifier le code]

D'après le principe général de la programmation dynamique, la commande optimale minimise sur \mathcal{U}, pour tout \left( \tau ,\xi \right) \in \left[ t_{0},t_{f}\right[ \times \Omega, le critère

J_{\tau}(u)=K\left( t_{f},x_{f}\right) +\int_{\tau}^{t_{f}}\mathcal L\left( t,x\left(
t\right) ,u\left( t\right) \right) dt

avec

x\left( \tau \right) =\xi.

Désignons par \omega\left( \tau ,\xi\right) la valeur optimale de ce critère. En plus des hypothèses précédentes, nous supposons maintenant que les fonctions f, \mathcal L et \omega sont continûment différentiables. Nous supposons également que \lambda=1 et supprimons cette variable des arguments de \mathcal H, qui est donc maintenant une fonction

\mathcal H : (t,x,u,p^{\prime }) \mapsto \mathcal H(t,x,u,p^{\prime }).

L'équation de Hamilton-Jacobi-Bellman est l'équation aux dérivées partielles

(HJB)::\frac{\partial \omega }{\partial t}\left( \tau ,\xi \right) =\max_{u\in U}
\mathcal{H}\left( \tau ,\xi ,u,-\frac{\partial \omega }{\partial \xi}
\left( \tau ,\xi \right) \right)

avec pour condition aux limites

(CL):: \omega \left( t_{f},x_{f}\right) =K\left( t_{f},x_{f}\right) ,\forall
\left( t_{f},x_{f}\right) \in \mathcal{V}_{f}.

On dit que le pseudo-hamiltonien \mathcal{H} est régulier si la fonction u\mapsto \mathcal{H}\left( \tau ,\xi ,u,p^{\prime }\right) admet un maximum unique sur U, atteint pour une valeur u^{0}\left( \tau ,\xi ,p^{\prime }\right) de u. Dans ce cas, soit la commande en boucle fermée \hat{u}\left( t,x\right) =u^{0}\left( t,x,-\frac{\partial \omega }{\partial\xi }\left( t,x\right) \right). On a le résultat suivant[15]:

Théorème de Bellman —  Supposons le pseudo-hamiltonien régulier. Pour que la commande en boucle fermée \left( t ,x\right)\rightarrow \hat{u}\left( t ,x\right) soit optimale, il est suffisant que (i) il existe une solution continûment différentiable \left( \tau ,\xi \right)\rightarrow \omega\left( \tau ,\xi \right) à l'équation de Hamilton-Jacobi-Bellman (HJB), avec la condition aux limites (CL), et (ii) la fonction t\rightarrow u^{\ast }\left( t\right) =\hat{u}\left( t,x_\hat u\left( t\right) \right), où x_\hat u est l'état résultant de l'application de la commande \hat u, soit admissible. La valeur du critère obtenue avec cette commande en boucle fermée optimale est \omega\left( t_{0} ,x\left( t_{0}\right)\right).

Justification du théorème de Pontryagin-Boltyanskii[modifier | modifier le code]

On déduit dans ce qui suit le théorème de Pontryagin-Boltyanskii du théorème de Bellman en supposant la fonction \omega : (t,x) \mapsto \omega(t,x) deux fois continûment différentiable[1], bien que cette seconde hypothèse ne soit malheureusement pas satisfaite dans les cas les plus courants tels que celui de la commande Bang-Bang, où \omega n'est pas même différentiable sur les trajectoires optimales (cette hypothèse est satisfaite, néanmoins, dans le cas du Calcul des variations, lorsque le lagrangien \mathcal L et la fonction K sont analytiques, le temps final est fixé et l'état final est libre, comme on le verra plus loin).

Supposons donc l'équation de Hamilton-Jacobi-Bellman vérifiée avec \omega de classe \mathcal C^2. On sait alors qu'une commande optimale existe ; soit x{^\ast}(t) et u{^\ast}(t) l'état optimal et la commande optimale à l'instant t, respectivement, et posons

p^{\prime \ast }(t)=-\frac{\partial \omega }{\partial x}\left( t,x^{\ast
}(t)\right) .

Il vient alors nécessairement

\dot{p}^{\prime \ast }(t)=-\frac{\partial ^{2}\omega }{\partial x\partial t}
\left( t,x^{\ast }(t)\right) -\frac{\partial ^{2}\omega }{\partial x^{2}}
\left( t,x^{\ast }(t)\right) \dot{x}^{\ast }\left( t\right)

avec \dot{x}^{\ast }\left( t\right) =f(t, x^{\ast }(t),u^{\ast }\left( t\right)), ce qui équivaut à la première équation canonique

\dot{x}^{\ast }(t)=\frac{\partial \mathcal{H}}{\partial p^{\prime }}\left(
t,x^{\ast }(t),u^{\ast }(t),\lambda ^{\ast },p^{\prime \ast }(t)\right).

L'équation de Hamilton-Jacobi-Bellman implique le Principe du maximum

u^{\ast }\left( t\right) =\underset{u\in U}{\arg \max }\mathcal{H}\left(
t,x^{\ast }\left( t\right) ,u,p^{\ast }\left( t\right) \right) .

ainsi que l'égalité

\frac{\partial \omega }{\partial t}(t,x)=\mathcal{H}\left( t,x,u^{\ast
}\left( t\right) ,-\frac{\partial \omega }{\partial x}\left( t,x\right)
\right) .

On tire de cette dernière

\frac{\partial ^{2}\omega }{\partial t\partial x}(t,x)=\frac{\partial 
\mathcal{H}}{\partial x}\left( t,x,u^{\ast }\left( t\right) ,-\frac{\partial
\omega }{\partial x}\left( t,x\right) \right) -\frac{\partial \mathcal{H}}{
\partial p^{\prime }}\left( t,x,u^{\ast }\left( t\right) ,-\frac{\partial
\omega }{\partial x}\left( t,x\right) \right) \frac{\partial ^{2}\omega }{
\partial x^{2}}\left( t,x\right) .

En plongeant \mathbf{X} dans son bidual, on a

\frac{\partial \mathcal{H}}{\partial p^{\prime }}\left( t,x,u^{\ast },\left(
t\right),p^{\ast }(t) \right) =f\left( x,u^{\ast }\left( t\right) ,t\right)

et on obtient finalement la seconde équation canonique

\dot{p}^{\prime }(t)=-\frac{\partial \mathcal{H}}{\partial x}\left(
t,x^{\ast }(t),u^{\ast }\left( t\right) ,p^{\ast }(t)\right)

car avec le plongement ci-dessus, et compte tenu du fait que la forme bilinéaire continue \frac{\partial ^{2}\omega }{
\partial x^{2}}\left( t,x^{\ast }(t)\right) est symétrique,

f\left( t, x^{\ast }(t),u^{\ast }(t)\right) \frac{\partial ^{2}\omega }{
\partial x^{2}}\left( t,x^{\ast }(t)\right) et  \frac{\partial ^{2}\omega }{
\partial x^{2}}\left( t,x^{\ast }(t)\right)f\left(t, x^{\ast }(t),u^{\ast }(t)\right)

sont deux écritures différentes de la même forme linéaire continue.

(En effet, soit B une forme linéaire continue symétrique sur \mathbf{X} \times \mathbf{X} et h, k \in \mathbf{X}. On a alors B.k \in \mathbf{X}{^\prime}. Considérons le crochet \left\langle B.k|h\right\rangle . Il désigne le réel (B.k)h=B.(k,h). Mais en considérant h comme élément du bidual de \mathbf{X}, il désigne également \left( h\circ B\right) \left( k\right) . Donc, \left( h\circ B\right) \left( k\right) =B.(k,h), et puisque B est symétrique, \left( h\circ B\right) \left( k\right) =B.(h,k), ce qui entraîne encore h\circ B =B.h. Dans le cas où \mathbf{X} est de dimension finie, on peut vérifier cette égalité en développant les deux membres dans une base de \mathbf{X} et la base duale.)

Pour démontrer l'égalité \frac{\partial \mathcal{H}}{\partial t}=\frac{d\mathcal{H}}{dt} (en notation abrégée) sur les trajectoires optimales, supposons pour simplifier que \mathbf{U} soit un ouvert d'un espace de Banach. Le Principe du maximum implique alors la condition d'Euler \frac{\partial \mathcal{H}}{\partial u}=0 à l'optimum. Par conséquent,

\frac{d\mathcal{H}}{dt}=\frac{\partial \mathcal{H}}{\partial t}+\frac{
\partial \mathcal{H}}{\partial x}\dot{x}+\frac{\partial \mathcal{H}}{
\partial p^{\prime }}\dot{p}^{\prime }+\frac{\partial H}{\partial u}=\frac{
\partial \mathcal{H}}{\partial t}+\frac{\partial \mathcal{H}}{\partial x}
\frac{\partial \mathcal{H}}{\partial p^{\prime }}-\frac{\partial \mathcal{H}
}{\partial p^{\prime }}\frac{\partial \mathcal{H}}{\partial x}
.

Le même type de raisonnement que plus haut montre que \frac{\partial \mathcal{H}}{\partial x}\frac{\partial \mathcal{H}}{\partial
p^{\prime }}=\frac{\partial \mathcal{H}}{\partial p^{\prime }}\frac{\partial 
\mathcal{H}}{\partial x}, d'où le résultat.

Il reste à obtenir la condition de transversalité. Sur \mathcal V_f on doit avoir \omega(t_f,x(t_f))=K(t_f,x(t_f)). Par conséquent, pour tout accroissement admissible infiniment petit \left( \delta t_{f},\delta x_{f}\right) \in T_{\left( t_{f}^{\ast},x_{f}^{\ast }\left( t_{f}^{\ast }\right) \right) }\mathcal V_f,

\left( \frac{\partial K}{\partial t}(t_{f}^{\ast },x^{\ast }\left(
t_{f}^{\ast }\right) -\frac{\partial \omega }{\partial t}(t_{f}^{\ast
},x^{\ast }\left( t_{f}^{\ast }\right) \right) \delta t_{f}+\left( \frac{
\partial K}{\partial x}(t_{f}^{\ast },x^{\ast }\left( t_{f}^{\ast
}\right) -\frac{\partial \omega }{\partial x}(t_{f}^{\ast },x^{\ast
}\left( t_{f}^{\ast }\right) \right) \delta x_{f}=0.

Or, on a

\frac{\partial \omega }{\partial t}\left(t_{f}^{\ast },x^{\ast }\left(
t_{f}^{\ast }\right)\right)  =\mathcal{H}\left( t_{f}^{\ast },x^{\ast }\left(
t_{f}^{\ast }\right) ,u^{\ast }\left( t_{f}^{\ast }\right) ,p^{\prime \ast
}\left( t_{f}^{\ast }\right) \right) et
\frac{\partial \omega }{\partial x}\left(t_{f}^{\ast },x^{\ast }\left(
t_{f}^{\ast }\right)\right) =-p^{\prime \ast }\left( t_{f}^{\ast },x^{\ast }\left(
t_{f}^{\ast }\right) ,u^{\ast }\left( t_{f}^{\ast }\right) ,p^{\prime \ast
}\left( t_{f}^{\ast }\right) \right) .

La condition de transversalité est donc démontrée.

Application au Calcul des variations[modifier | modifier le code]

Conditions d'Euler-Lagrange, de Legendre, Weierstrass, et de Weierstrass-Erdmann[modifier | modifier le code]

Le problème du Calcul des variations consiste à minimiser un critère de la forme

J=K\left( t_{f},x_{f}\right) +\int_{t_{0}}^{t_{f}}\mathcal L\left( t,x\left(t\right) ,\dot x\left( t\right) \right) dt

avec une condition finale du même type que celle qui a été considérée dans la position du problème de commande optimale. Ce n'est donc rien d'autre que le problème de commande optimale avec pour « équation du système » \dot{x}=u, et \mathbf{U}=\mathbf{X}, espace qu'on suppose de dimension finie. Il vient, en éliminant u,

\mathcal{H}\left( t,x,\dot{x},\lambda ,p^{\prime }\right) =\left\langle
p^{\prime }|\dot{x}\right\rangle -\lambda \mathcal L\left( t,x,\dot{x}\right).

La fonction \mathcal L est supposée continûment différentiable ainsi que sa différentielle partielle \frac{\partial \mathcal L}{\partial \dot{x}}. Le Principe du maximum est, de par sa formulation, une condition nécessaire d'« optimum fort ». Il implique

\frac{\partial \mathcal{H}}{\partial \dot{x}}\left( t,x^{\ast },\dot{x}
^{\ast },\lambda ^{\ast },p^{\prime \ast }\right) =0\Leftrightarrow
p^{\prime \ast }=\lambda \frac{\partial \mathcal L}{\partial \dot{x}}\left( t,x^{\ast
},\dot{x}^{\ast }\right).

La condition de non trivialité implique \lambda=1, et nous supprimons donc désormais \lambda des arguments de \mathcal{H}. Les équations canoniques se réduisent maintenant aux équations d'Hamilton habituelles. En remplaçant l'expression obtenue plus haut pour p^{\prime \ast } dans la seconde équation canonique, on obtient la condition d'Euler-Lagrange :

\frac{d}{dt}\left( \frac{\partial \mathcal L}{\partial \dot{x}}\right) =\frac{
\partial \mathcal L}{\partial x}.

D'autre part, en supposant que \mathcal L admet une différentielle partielle seconde par rapport à \dot{x} et que cette différentielle partielle seconde est une fonction continue, le Principe du maximum implique, au second ordre, la condition faible de Legendre

\frac{\partial ^{2}\mathcal L}{\partial \dot{x}^{2}}\left( t,x^{\ast }\left(
t\right) ,\dot{x}^{\ast }\left( t\right) ,p^{\prime \ast }\left( t\right)
\right) \geq 0

qui signifie que la forme bilinéaire continue symétrique \frac{\partial ^{2}\mathcal L}{\partial \dot{x}^{2}}\left( t,x^{\ast }\left(
t\right) ,\dot{x}^{\ast }\left( t\right) ,p^{\prime \ast }\left( t\right)
\right) doit être semi-définie positive. Pour qu'en plus l'hamiltonien soit régulier, il faut que soit satisfaite la condition forte de Legendre

\frac{\partial ^{2}\mathcal L}{\partial \dot{x}^{2}}\left( t,x^{\ast }\left(
t\right) ,\dot{x}^{\ast }\left( t\right) ,p^{\prime \ast }\left( t\right)
\right) > 0

qui signifie que cette forme bilinéaire symétrique doit être définie positive.

Soit la fonction de Weierstrass, encore appelée l'« excessus »

\mathcal{E}\left( t,x,u;w\right) =\mathcal{H}\left( t,x,
u,\frac{\partial \mathcal L}{\partial \dot{x}}\left(t,x,u\right) \right)-
\mathcal{H}\left( t,x,w,\frac{\partial \mathcal L}{\partial 
\dot{x}}\left( t,x,u\right)\right) .


Le Principe du maximum implique la condition de Weierstrass \mathcal{E}\left( t,x^\ast(t),\dot x^\ast(t);w\right) \geq 0 (obtenue avec des « variations fortes », analogues aux « variations en aiguille » introduites par Boltyanskii pour la démonstration du Principe du maximum). On écrit également la fonction de Weierstrass sous la forme

\mathcal{E}(t,x,u;w)=\mathcal{L}(t,x,w)-
\mathcal{L}(t,x,u)-\frac{\partial \mathcal{L}}{
\partial \dot x}(t,x,u)\left( w-u\right) 
.

Enfin, la continuité de p^{\prime \ast } et celle de la fonction t\mapsto \mathcal{H}\left( t,x^{\ast }\left( t\right) ,
\dot{x}^{\ast }\left( t\right) ,\frac{\partial \mathcal L}{\partial \dot{x}}\left(
t,x^{\ast }\left( t\right) ,\dot{x}^{\ast }\left( t\right) \right) \right) est la condition d'arrondissement des angles de Weierstrass–Erdmann (en).

Remarque[modifier | modifier le code]

La différence essentielle entre le Principe du maximum et la condition de Weierstrass est que, dans cette dernière, on a dès le début l'égalité p^{\prime \ast }=\frac{\partial \mathcal L}{\partial \dot{x}}, laquelle égalité, qui détermine \dot{x}^\ast comme fonction implicite de p^{\prime \ast }, paraît essentielle dans le Calcul des variations classique (elle conduit à raisonner avec un hamiltonien plutôt qu'avec un pseudo-hamiltonien, comme on le verra plus loin). En s'affranchissant de cette condition, Weierstrass, ou d'autres avant lui, auraient pu formuler le Principe du maximum[23].

Condition de Carathéodory et équation d'Hamilton-Jacobi[modifier | modifier le code]

Condition de Carathéodory[modifier | modifier le code]

La condition de Carathéodory[24] peut s'exprimer sous la forme suivante  : supposons qu'il existe une fonction continûment différentiable S : (t,x)\mapsto S(t,x) telle que, en posant, comme on l'a déjà fait plus haut,

u^{0}\left( t,x,p^{\prime}\right) =\underset{u}{
\arg \max }\mathcal{H}\left( t,x,u,p^{\prime}\right)

(à supposer que le maximum existe et soit strict), S soit solution de l'équation aux dérivées partielles « de Carathéodory »

\frac{\partial S }{\partial t}(t,x)=-\mathcal{H}(t,x,u^{0}(t,x,\frac{
\partial S }{\partial x}(t,x)),\frac{\partial S}{\partial x}(t,x)).

Alors la fonction optimale x^{\ast} est solution de l'équation différentielle

\dot{x}^{\ast }\left( t\right) =u^{o}\left( t,x^{\ast }(t),\frac{\partial
S }{\partial x}\left( t,x^{\ast }\left( t\right) \right) \right)
.

L'équation d'Hamilton-Jacobi-Bellman n'est qu'une reformulation de cette condition avec \omega=-S + C^{te}. Cette différence de notation vient du fait qu'en Calcul des variations, l'« action » S est minimisée entre l'instant initial t_0 et l'instant t courant, tandis que, suivant le Principe d'optimalité de Bellman, la fonction de Bellman \omega est minimisée entre l'instant t courant et l'instant final t_f.

Équation d'Hamilton-Jacobi[modifier | modifier le code]

La maximisation de \mathcal H par rapport à u est effectuée sur un ouvert. La maximisation du pseudo-hamiltonien implique donc la condition d'Euler

\frac{\partial \mathcal{H}}{\partial u}\left( t,x,u ,p^{\prime}
\right) =0 \Leftrightarrow  p^{\prime} =\frac{\partial \mathcal L}{\partial 
u}\left( t,x,u\right).

On peut écrire cette équation sous la forme G(z,u)=0 avec z=(t,x,p^{\prime}) et G(z,u)=p^{\prime} -\frac{\partial \mathcal L}{\partial u}\left( t,x,u\right). Le théorème des fonctions implicites implique que si le pseudo-hamiltonien est régulier et \frac{\partial \mathcal L}{\partial 
u} est de classe \mathcal C^1, u est une fonction implicite de classe \mathcal C^1 de z, qu'on peut écrire u^0\left(z\right).

Soit alors l'hamiltonien

{\mathfrak{H}}(t,x,p^{\prime}) =\mathcal{H}
\left(t,x,u^{0}(t,x,p^{\prime}),p^{\prime}\right).

On obtient à partir de l'équation de Carathéodory l'équation d'Hamilton-Jacobi habituelle

\frac{\partial S}{\partial t}+{\mathfrak{H}}(t,x,\frac{\partial
S}{\partial x})=0.

On a vu plus haut comment déduire le Principe de Pontryagin de l'équation d'Hamilton-Jacobi-Bellman en supposant \omega de classe \mathcal C^2. On déduit exactement de la même manière toutes les conditions nécessaires de minimum fort du Calcul des variations de la condition de Carathéodory en supposant S de classe \mathcal C^2[25].

En particulier, les conditions nécessaires d'Euler-Lagrange, de Legendre et de Weierstrass sont des conséquences de la condition de Carathéodory si \mathcal H est régulier et analytique, K est analytique, l'instant final est fixé et l'état final est libre. En effet, le théorème des fonctions implicites entraîne alors que u^0 est analytique ; donc \mathfrak H l'est aussi, et le théorème de Cauchy-Kowalevski entraîne l'existence, dans un ouvert suffisamment petit, d'une solution unique S vérifiant, pour c fixé, la condition S(t_f,x_f)=c-K(t_f,x_f), et cette solution est analytique[26]. Cela n'est qu'un résultat local, mais il est de grande importance, puisque en physique notamment, le « Principe de moindre action » correct est local lui aussi, comme on le verra plus loin.

Commande « linéaire quadratique »[modifier | modifier le code]

Position du problème[modifier | modifier le code]

Depuis l'article publié par Kalman en 1960[27], la « commande linéaire quadratique » a fait l'objet de nombreuses investigations. Supposons que le système soit linéaire et de dimension finie[28], ayant pour équation d'état

\dot{x}=A\left( t\right) x+B\left( t\right) u

t\mapsto A\left( t\right) et t\mapsto B\left( t\right) sont des fonctions réglées de \left[ t_{0},t_{f}\right] dans \mathbb{R}^{n\times n} et \mathbb{R}^{n\times m} respectivement[29]. Le critère est supposé quadratique, de la forme

J=x_{f}^{T}P_{f}x_{f}+\int_{t_{0}}^{t_{f}}\left( x^{T}\left( t\right)
Q\left( t\right) x\left( t\right) +u^{T}\left( t\right) R\left( t\right)
u\left( t\right) \right) dt

t\mapsto Q\left( t\right) (resp. t\mapsto R\left( t\right)) est une fonction réglée (resp. continue) de \left[ t_{0},t_{f}\right] dans \mathbb{R}^{n\times n} (resp. \mathbb{R}^{m\times m}); \left(.\right)^{T} désigne la transposée de la matrice \left(.\right). Les matrices Q\left( t\right) et R\left( t\right) sont supposées symétriques réelles et R\left( t\right) est supposée définie positive (en abrégé : R(t) > 0) pour tout t\in \left[ t_{0},t_{f}\right]. La matrice P_{f} est supposée symétrique réelle semi-définie positive. L'instant final t_{f} est fixé tandis que l'état final x_{f} est libre.

Application du théorème de Bellman[modifier | modifier le code]

Appliquons maintenant la méthode de la programmation dynamique, de manière à obtenir une condition suffisante d'optimalité (qui, dans le cas considéré, sera également nécessaire ; et l'on pourrait également appliquer le Principe du maximum, qui conduirait au même résultat). Pour cela, choisissons une « fonction de Bellman » de la forme

\omega \left( t,\xi \right) =\xi ^{T}P\left( t\right) \xi.

On a

\mathcal{H}\left( \tau ,\xi ,u,1,-\frac{\partial \omega }{\partial x}\left(
\tau ,\xi \right) \right) =-2\xi ^{T}P\left( \tau \right) \left( A\left(
\tau \right) \xi +B\left( \tau \right) u\right) -\left( \xi ^{T}Q\left( \tau
\right) \xi +u^{T}R\left( \tau \right) u\right) .

La fonction u\mapsto \mathcal{H}\left( \tau ,\xi ,u,1,-\frac{\partial \omega }{\partial
x}\left( \tau ,\xi \right) \right) est strictement concave sur \mathbb{R}^{m} (autrement dit, le pseudo-hamiltonien est régulier), par conséquent elle admet un maximum global unique déterminé par l'« égalité d'Euler »

\frac{\partial \mathcal{H}}{\partial u}\left( \tau ,\xi ,u,1,-\frac{
\partial \omega }{\partial x}\left( \tau ,\xi \right) \right) =0

ce qui donne u^{\ast }\left( \tau ,\xi \right)=-R\left( \tau \right) ^{-1}B^{T}\left( \tau \right) P\left( \tau \right)
\xi. L'équation d'Hamilton-Jacobi-Bellman s'écrit donc (en omettant la dépendance des différentes matrices par rapport au temps pour alléger les notations)

\xi ^{T}\dot{P}\xi =-2\xi ^{T}P\left( A\xi -BR^{-1}B^{T}\xi \right) -\left(
\xi ^{T}Q\xi +\xi ^{T}PBR^{-1}B^{T}P\xi \right)

ce qui conduit à choisir la fonction \tau \rightarrow P\left( \tau \right) solution de l'équation de Riccati matricielle

-\dot{P}=A^{T}P+PA-PBBR^{-1}B^{T}P+Q

avec la condition finale

P\left( t_{f}\right) =P_{f}.

Conditions de Jacobi[modifier | modifier le code]

Sous les hypothèses considérées, le second membre de l'équation différentielle est une fonction localement lipschitzienne en P. Elle admet donc, avec la condition finale ci-dessus, une solution maximale unique P\left( t;t_{f}\right) sur un intervalle \left( t_{1},t_{f}\right] (ouvert ou fermé en t_1). On voit facilement que pour tout t dans cet intervalle, P\left( t;t_{f}\right) est symétrique réelle[13]. La théorie des équations différentielles implique que si t_1>t_0 ou si t_1=t_0 mais l'intervalle \left( t_{1},t_{f}\right] est ouvert en t_1, alors \lim\limits_{t\rightarrow t_{1},t\in \left] t_{1},t_{f}\right] }\left\Vert
P\left( t;t_{f}\right) \right\Vert =+\infty. L'instant t_1 est alors dit conjugué de l'instant t_f. (Souvent, en Calcul des variations, la notion de point conjugué est introduite plutôt pour un problème d'optimisation à état final fixé.) Le résultat suivant est maintenant clair :

Théorème (Jacobi) — Une condition nécessaire pour qu'il existe une commande optimale est qu'il n'existe pas de points conjugués dans l'intervalle ]t_0,t_f] (condition faible de Jacobi). Une condition suffisante pour qu'il existe une commande optimale est qu'il n'existe pas de points conjugués dans l'intervalle [t_0,t_f] (condition forte de Jacobi).

On notera que les deux conditions suivantes sont équivalentes :

(1) La condition forte de Jacobi est satisfaite ;

(2) \left\Vert P\left( t;t_{f}\right) \right\Vert est uniformément bornée (par rapport à t).

Théorème (Kalman, 1960) — Si pour tout t \in [t_0,t_f], Q(t) est semi-définie positive (en abrégé, Q(t) \ge 0), alors la condition forte de Jacobi est satisfaite.

Expression de la commande optimale[modifier | modifier le code]

Supposons Q(t) \ge 0, \forall t \in [t_0,t_f]. La commande optimale est donc bien définie ; elle est linéaire et en boucle fermée, et donnée par

\hat{u}\left( t ,x\right)=-K\left( t\right) x, K=R^{-1}B^{T}P.

Notons que la valeur optimale du critère est \omega \left( t_{0},x\left( t_{0}\right) \right) =x^{T}\left( t_{0}\right)
P\left( t_{0};t_{f}\right) x\left( t_{0}\right).

Pour les systèmes linéaires stationnaires (dont les matrices A et B ne dépendent pas du temps), on prend habituellement P_{f}=0, on choisit pour Q et R des matrices constantes, et on choisit un « horizon infini », à savoir que l'on prend t_{f}\rightarrow +\infty. Ecrivons Q sous la forme: Q=C^{T}C. Soit les conditions suivantes:

(a): Le système (ou, en abrégé, la paire \left( A,B\right)) est stabilisable.

(b): La paire \left( C,A\right) est détectable.

On a le résultat suivant[30],[31],[32]:

Commande linéaire quadratique à horizon infini — 

Si la condition (a) est satisfaite, P\left( t;t_{f}\right) admet pour t_{f}\rightarrow +\infty une limite constante P_{\infty } qui est une solution symétrique réelle semi-définie positive de l'« équation algébrique de Riccati »

A^{T}P+PA-BBR^{-1}B^{T}P+Q=0

et la commande optimale est \left( t ,x\right)\rightarrow \hat{u}\left( t ,x\right)=-K x, K=R^{-1}B^{T}P_{\infty }.

On a l'équivalence suivante:

(a)\&\left( b\right) \Leftrightarrow P_{\infty } est l'unique solution symétrique réelle semi-définie positive de l'équation algébrique de Riccati ci-dessus et le système bouclé est exponentiellement stable.

Ces conditions étant satisfaites, la matrice P_{\infty } est définie positive si, et seulement si \left( C,A\right) est observable.

Cas d'un critère comprenant un terme croisé[modifier | modifier le code]

On considère parfois un critère quadratique plus général, comprenant un terme croisé, de la forme

J=x_{f}^{T}P_{f}x_{f}+\int_{t_{0}}^{t_{f}}\left( 
\begin{array}{cc}x^{T}(t) & u^{T}\left( t\right) \end{array}\right) \left( 
\begin{array}{cc}Q(t) & S(t) \\ S^{T}(t) & R(t)\end{array}\right) \left( 
\begin{array}{c}x(t) \\ u(t)\end{array}\right) dt

où les fonctions t\mapsto Q\left( t\right), t\mapsto R\left( t\right), t\mapsto S\left( t\right) sont continues. Or on a l'identité

\left( \begin{array}{cc}x^{T} & u^{T}\end{array}
\right) \left( \begin{array}{cc}Q & S \\ S^{T} & R\end{array}
\right) \left( \begin{array}{c}x \\ u\end{array}
\right) =x^{T}\left( Q-SRS^{T}\right) x+\left( u+R^{-1}S^{T}x\right) R\left(
u+R^{-1}S^{T}x\right),

par conséquent on se ramène au cas précédent en faisant le changement de variable v=u+R^{-1}S^{T}x et en posant Q_1=Q-SRS^{T}.

Application à la Dynamique relativiste[modifier | modifier le code]

Soit un point matériel de masse au repos m_0, placé dans un champ de force U(x). Dans le cadre de la relativité restreinte, dans lequel on se place ici, l'action est donnée par

S\left( t_{0},t_{f}\right) =\int_{t_{0}}^{t_{f}}\left( -m_{0}c^{2}\sqrt{1-
\frac{\left\Vert u\right\Vert ^{2}}{c^{2}}}-U(x)\right) dt

u=\dot x et c=c(x) est la vitesse de la lumière dans le milieu considéré. Le pseudo-hamiltonien est donné par

\mathcal{H}\left( x,u,p^{\prime }\right) =\left\langle p^{\prime
}|u\right\rangle +m_{0}c^{2}\sqrt{1-\frac{\left\Vert u\right\Vert ^{2}}{c^{2}
}}+U(x).

La première équation canonique de Hamilton redonne u=\dot x

La maximisation du pseudo-hamiltonien se fait sur l'ensemble \left\Vert u\right\Vert \leq c.

1) Envisageons tout d'abord le cas classique où \left\Vert u\right\Vert < c. Si la vitesse c est constante, la seconde équation canonique de Hamilton donne

\dot{p}^{\prime }=-\frac{\partial U}{\partial x}.

Le principe du maximum implique \frac{\partial \mathcal{H}}{\partial u}=0, d'où la relation bien connue

p=\frac{m_{0}}{\sqrt{1-\frac{\left\Vert u\right\Vert ^{2}}{c^{2}}}}u

où le vecteur colonne p est le transposé du vecteur ligne p^{\prime}. 2) Considérons maintenant le cas où \left\Vert u\right\Vert = c(x). Contrairement au précédent, ce cas ne relève pas du calcul des variations habituel. Le pseudo-hamiltonien est maximum lorsque

p=\frac{\left\Vert p\right\Vert }{c(x)}u

et l'équation de Hamilton-Jacobi-Bellman devient l'équation eikonale

\frac{\partial S}{\partial t}+c\left( x\right) \left\Vert \frac{\partial S}{
\partial x}\right\Vert +U(x)=0,

classique lorsque U(x)=0.

Notes et références[modifier | modifier le code]

Notes[modifier | modifier le code]

  1. a, b, c, d, e, f, g et h Pontryagin et al. 1962
  2. a et b Bellman 1957
  3. Goldstine 1980
  4. Gamkrelidze 1999
  5. Pesh et Plail 2009
  6. R.V. Gamkrelidze, Discovery of the Maximum Principle, J. of Dynamical and Control Systems, 5(4), 85-99, 1999.
  7. Clarke 1976
  8. a et b Clarke 1987
  9. a et b Vinter 2000
  10. Gorecki, Fuksa et Korytowski 1989
  11. Li et Yong 1994
  12. Boltyanskii 1976
  13. a, b et c Bourlès 2004
  14. Neustadt 1976, §VII.4
  15. a et b Fleming et Rishel 1975
  16. Haussmann 1978
  17. Vinter 2000, Chap. 9
  18. Clarke 1987, Chap. 5
  19. Lang 1995
  20. Alexéev, Tikhomirov et Fomine 1982
  21. Pallu de la Barrière 1966
  22. Fattorini 1999
  23. Sussmann et Willems 1997
  24. Carathéodory 1999, § 231
  25. Carathéodory 1999, §§ 232-241.
  26. Petrovsky 1991
  27. Kalman 1960
  28. Le cas d'un système dont l'état appartient à un espace de Hilbert a été considéré par Lions 1968
  29. Les hypothèses de régularité peuvent être affaiblies par rapport au cas général: voir Kalman, Falb et Arbib 1969, §3.5.
  30. Anderson et Moore 1989
  31. Kwakernaak et Sivan 1972
  32. Pour des compléments, voir l'article Commande LQ.

Ouvrages ayant servi à établir le texte[modifier | modifier le code]

  • V. Alexéev, V. Tikhomirov et S. Fomine, Commande optimale, Mir,‎ 1982, 447 p.
  • (en) Brian D.O. Anderson et John B. Moore, Optimal Control, Prentice-Hall,‎ 1989, 391 p. (ISBN 0136386512)
  • (en) Richard Bellman, Dynamic Programming, Princeton University Press,‎ 1957, 360 p. (ISBN 0486428095)
  • L.S. Boltyanskii, Commande optimale des systèmes discrets, Mir,‎ 1976, 467 p.
  • Henri Bourlès, « Principe du maximum », dans H. Abou-Kandil (dir.), La commande optimale des systèmes dynamiques, Hermès-Science,‎ 2004 (ISBN 2746209659), « 1 », p. 15-70
  • (en) Constantin Carathéodory, Calculus of Variations and Partial Differential Equations of the First Order, American Mathematical Society,‎ 1999 (ISBN 0821819992)
  • (en) Frank H. Clarke, « The Maximum Principle under Minimal Hypotheses », SIAM J. Control Optim., vol. 14, no 6,‎ 1976, p. 1078-1091
  • (en) Frank H. Clarke, Optimization and Nonsmooth Analysis, Society for Industrial & Applied Mathematics,U.S.,‎ 1987, 360 p. (ISBN 0898712564)
  • (en) Hector H. Fattorini, Infinite Dimensional Optimization and Control, Cambridge University Press,‎ 1999, 816 p. (ISBN 0521451256)
  • (en) Wendell Helms Fleming et Raymond W. Rishel, Deterministic and Stochastic Optimal Control, Springer,‎ 1975, 320 p. (ISBN 3540901558)
  • (en) R.V. Gamkrelidze, « Discovery of the Maximum Principle », Journal of Dynamical and Control Systems, vol. 5, no 4,‎ 1999, p. 85-89
  • (en) Herman H. Goldstine, A History of the Calculus of Variations from the 17th through the 19th Century, Springer-Verlag,‎ 1980, 410 p. (ISBN 0387905219)
  • (en) I .M. Gelfand et S. V. Fomin, Calculus Of Variations, Dover Publications Inc.,‎ 2003 (ISBN 0486414485)
  • (en) Henrik Gorecki, Stanislaw Fuksa et Adam Korytowski, Analysis and Synthesis of Time Delay Systems, John Wiley & Sons,‎ 1989, 382 p. (ISBN 0471276227)
  • (en) U. G. Haussmann, « On the Stochastic Maximum Principle », SIAM J. Control and Optimization, vol. 16, no 2,‎ 1978, p. 236-269
  • (en) Rudolph E. Kalman, « Contributions to the Theory of Optimal Control », Boletin de la Sociedad Mathematica Mexicana, vol. 5,‎ 1960, p. 102-119
  • (en) Rudolph E. Kalman, Peter L. Falb et Michael A. Arbib, Topics in Mathematical System Theory, McGraw-Hill,‎ 1969, 358 p. (ISBN 007033255X).
  • (en) Huibert Kwakernaak et Raphael Sivan, Linear Optimal Control Systems, John Wiley & Sons Inc,‎ 1972, 604 p. (ISBN 0471511102)
  • (en) Serge Lang, Differential and Riemannian Manifolds, Springer-Verlag,‎ 1995 (ISBN 0387943382, lire en ligne)
  • (en) Xunjing Li et Jiongmin Yong, Optimal Control Theory for Infinite Dimensional Systems, Birkhäuser,‎ 1994, 448 p. (ISBN 0817637222)
  • (en) Jacques Louis Lions, Contrôle optimal des systèmes gouvernés par des équations aux dérivées partielles, Dunod,‎ 1968
  • (en) Lucien W. Neustadt, Optimization, A Theory of Necessary Conditions, Princeton Univ. Press,‎ 1976, 440 p. (ISBN 0691081417).
  • Robert Pallu de la Barrière, Cours d'automatique théorique, Dunod,‎ 1966
  • (en) Hans Joseph Pesh et Michael Plail, « The maximal principle of optimal control: A history of ingenious ideas and missed opportunities », Control and Cybernetics, vol. 38, no 4A,‎ 2009, p. 973-995 (lire en ligne)
  • (en) Ivan Georgievich Petrovsky, Partial Differential Equations, Dover,‎ 1991, 253 p. (ISBN 0486669025).
  • (en) L.S. Pontryagin, V.G. Boltyanskii, R.V. Gamkrelidze et E.F. Mishchenko, The Mathematical Theory of Optimal Processes, Interscience,‎ 1962 (ISBN 2881240771)
  • (en) Hector J. Sussmann et Jan C. Willems, « 300 Years of Optimal Control: From the Brachystochrone to the Maximal Principle », IEEE Control Systems, vol. 6,‎ 1997, p. 32-44
  • (en) Richard Vinter, Optimal Control, Birkhäuser,‎ 2000, 522 p. (ISBN 0817640754)

Autres ouvrages[modifier | modifier le code]

  • J.F. Bonnans et P. Rouchon, Commande et optimisation de systèmes dynamiques, Editions de l'Ecole Polytechnique,‎ 2005 (ISBN 2730212515)
  • (en) Arthur E. Bryson et Yu-Chi Ho, Applied Optimal Control (Revised Ed.), Taylor & Francis Inc,‎ 1988, 496 p. (ISBN 0891162283)


Articles connexes[modifier | modifier le code]