Régularisation Tychonoff

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

La régularisation Tikhonov est la méthode de régularisation la plus utilisée pour la résolution de problèmes qui ne sont pas bien posés ainsi que pour les problèmes inverses. Elle a été imaginée par le mathématicien russe Andreï Nikolaïevitch Tikhonov. En statistique, la méthode est également connue sous le nom de régression d'arête (ridge regression). Elle est connexe à l'algorithme de Levenberg-Marquardt pour la résolution de problèmes non-linéaires de moindres carrés.

Développement[modifier | modifier le code]

Problème[modifier | modifier le code]

L'approche classique pour résoudre un système d'équations linéaires surdéterminées exprimées par

A\mathbf{x}=\mathbf{b}

est connue comme la méthode des moindres carrés et consiste à minimiser le résidu

\|A\mathbf{x}-\mathbf{b}\|^2

\| \cdot \| est la norme euclidienne. Cependant, la matrice A peut-être mal conditionnée ou non inversible, conduisant à un grand nombre de solutions.

Régularisation[modifier | modifier le code]

Dans le but de privilégier une solution particulière dotée de propriétés qui semblent pertinentes, un terme de régularisation est introduit dans la minimisation :

\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2

\Gamma, la « matrice de Tikhonov » doit être judicieusement choisie pour le problème considéré. x est le vecteur que l'on cherche à exprimer. x est souvent une approximation discrétisée (cf. discret) d'une fonction continue. Dans de nombreux cas, la matrice \Gamma est la Matrice identité \Gamma= I , ce qui favorise les solutions dont les normes sont petites. Dans d'autres cas des opérateurs passe-bas, par exemple un Opérateur de différence ou un opérateur de Fourier pondéré peut être utilisé pour éliminer les variations rapides de la fonction lorsque l'on a de bonnes raisons de croire que le vecteur x est l'approximation d'une fonction continue.

Cette régularisation améliore le conditionnement du problème, permettant ainsi de trouver une solution numérique.

Solution[modifier | modifier le code]

Une solution numérique que l'on va appeler \hat{x} est donnée par:

\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}\mathbf{b}

L'effet de la régularisation dépend du choix de la matrice \Gamma. Lorsque \Gamma = 0, on en revient au cas de la solution, non régularisée, des moindres carrés, pourvu que (ATA)−1 existe.

Régularisation généralisée[modifier | modifier le code]

\|Ax-b\|_P^2 + \|x-x_0\|_Q^2\,

où :

  • x_0 désigne l'espérance de x,
  •  Q = \Gamma^T \Gamma désigne l'inverse de la matrice de covariance de x,
  • P désigne l'inverse de la matrice de covariance de b,
  • \left \| x  \right \|_P^2 désigne x^T P x, soit le carré de la norme pondérée.

Solution généralisée[modifier | modifier le code]

\hat{x} = x_0 + (A^T PA + Q)^{-1} A^T P(b-Ax_0).\,

Sources[modifier | modifier le code]

  • (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Tikhonov regularization » (voir la liste des auteurs), dont les sources étaient :
    • Tikhonov AN, 1943, On the stability of inverse problems, Dokl. Akad. Nauk SSSR, 39, No. 5, 195-198
    • Tikhonov AN, 1963, Solution of incorrectly formulated problems and the regularization method, Soviet Math Dokl 4, 1035-1038 English translation of Dokl Akad Nauk SSSR 151, 1963, 501-504
    • Tikhonov AN and Arsenin VA, 1977, Solution of Ill-posed Problems, Winston & Sons, Washington, ISBN 0-470-99124-0.
    • Hansen, P.C., 1998, Rank-deficient and Discrete ill-posed problems, SIAM
    • Hoerl AE, 1962, Application of ridge analysis to regression problems, Chemical Engineering Progress, 58, 54-59.
    • Foster M, 1961, An application of the Wiener-Kolmogorov smoothing theory to matrix inversion, J. SIAM, 9, 387-392
    • Phillips DL, 1962, A technique for the numerical solution of certain integral equations of the first kind, J Assoc Comput Mach, 9, 84-97
    • Tarantola A, 2004, Inverse Problem Theory (free PDF version), Society for Industrial and Applied Mathematics, ISBN 0-89871-572-5
    • Wahba, G, 1990, spline Models for Observational Data, SIAM