Information de Fisher

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

L'information de Fisher est une notion de statistique introduite par R.A. Fisher qui quantifie l'information relative à un paramètre contenue dans une distribution.

Soit f(x;\theta) la distribution de vraisemblance d'une grandeur x (qui peut être multidimensionnelle), paramétrée par \theta. La technique d'estimation de \theta par le maximum de vraisemblance, introduite par Fisher consiste à choisir la valeur maximisant la vraisemblance des observations X :

E\left[\frac{\partial \log f(X;\theta)}{\partial \theta} | \theta \right] =0.

L'information de Fisher est quant à elle définie comme la variance associée à ce maximum :

I(\theta)=E\left[ \left(\frac{\partial \log f(X;\theta)}{\partial \theta} \right)^2 |\theta \right].

Formulation discrète[modifier | modifier le code]

Les différentes observations x_i nous permettent d'échantillonner la fonction de densité de probabilité f(x;\theta). Selon le théorème de Bayes, en l'absence d'a priori sur \theta on a P(\theta/X)\propto P(X/\theta) Si les observations sont décorrélées, la valeur la plus probable \scriptstyle\hat\theta nous est donnée par le maximum de

\prod_i P(x_i/\theta),

qui est aussi le maximum de

\lambda(\theta)=\sum_i \log P(x_i/\theta).

Le passage en logarithme permet de transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation :

\sum_i \left[
\frac{\partial}{\partial \theta} \log P(x_i/\theta)
\right]_{\theta=\hat\theta} =0.

Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique. La résolution de cette équation permet de trouver un estimateur de \theta à partir du jeu de paramètre au sens du maximum de vraisemblance. Maintenant, la question est de quantifier la précision de notre estimation. On cherche donc à estimer la forme de la distribution de probabilité de \theta autour de la valeur donnée par l'estimateur \scriptstyle\hat\theta. À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient :


\lambda(\theta)=\lambda(\hat\theta)-\frac{\theta^2}{2}I(\hat\theta)+o(\theta^2)

\scriptstyle I(\hat\theta) est l'information de Fisher relative à \theta au point de maximum de vraisemblance. Ceci signifie que la distribution est en première approximation une gaussienne de variance \scriptstyle 1/I(\hat\theta) :

P(\theta/X)\propto \exp\left(-\frac{\theta^2}{2}I(\hat\theta) \right)

Cette variance est appelée la borne de Cramér-Rao et constitue la meilleure précision d'estimation atteignable en absence d'a priori.

Additivité[modifier | modifier le code]

Une des propriétés fondamentales de l'information de Fisher est son additivité. L'information résultant de deux variables aléatoires indépendantes est la somme des informations :

 I_{X,Y}(\theta) =I_X (\theta)+I_Y (\theta).

Si on a N réalisations indépendantes obéissant une même densité de probabilité, l'information résultante est une simple mise à l'échelle de l'information individuelle.

I_{(X_ 1\cdots X_N)}(\theta)=N.I_X(\theta).

Lorsqu'une statistique S(X) sur une variable aléatoire X est exhaustive, l'information relative à la statistique est égale à celle de la variable aléatoire. Autrement dit

I_{S(X)}(\theta) \leq I_X(\theta),

avec égalité pour une statistique exhaustive.

Formulation multi-paramétrique[modifier | modifier le code]

Dans le cas où la distribution de probabilité f(X) dépend de plusieurs paramètres, \theta n'est plus un scalaire mais un vecteur \vec\theta=(\theta_1,\theta_2,\cdots). La recherche du maximum de vraisemblance ne se résume donc non pas à une seule équation mais à un système :

E\left[\frac{\partial}{\partial \theta_i} \log f(X;\vec\theta) \right] 

=0, \qquad \forall i

on dérive vis-à-vis des différentes composantes de \vec\theta. Enfin, l'information de Fisher n'est plus définie comme une variance scalaire mais comme une matrice de covariance :

I(\theta_i,\theta_j)=E\left[ 
\left(\frac{\partial}{\partial \theta_i} \log f(X;\vec\theta) \right)
 \left(\frac{\partial}{\partial \theta_j} \log f(X;\vec\theta) \right)\right].

Estimation et borne de Cramér-Rao[modifier | modifier le code]

L'inverse de cette matrice permet quant à elle de déterminer les bornes de Cramér-Rao, i.e. les covariances relatives aux estimations conjointes des différents paramètres à partir des observations : en effet, le fait que tous les paramètres soient à estimer simultanément rend l'estimation plus difficile. Ce phénomène est une manifestation de ce qui est parfois appelé le « fléau de la dimension ». C'est pour cette raison que l'on utilise quand on le peut des a priori sur les paramètres (méthode d'estimation du maximum a posteriori). Ainsi, on restreint l'incertitude sur chacun des paramètres, ce qui limite l'impact sur l'estimation conjointe.

Métrique de Fisher[modifier | modifier le code]

Cette matrice est couramment appelée la métrique d'information de Fisher ;

g_{ij}=I(\theta_i,\theta_j)

En effet, le passage de l'espace des observations à l'espace des paramètres est un changement de système de coordonnées curviligne. Dans la base des paramètres, avec comme produit scalaire la covariance, cette matrice est la métrique. Ce point de vue géométrique, introduit par C. Rao [1], a été ensuite largement développé par S. Amari [2] sous la dénomination de géométrie de l'information. La métrique n'est en général pas invariante, et l'espace des paramètres est Riemannien. L'inégalité de Cramér-Rao s'interprète avec comme l'expression de l'inégalité de Schwarz entre le vecteur de dérivée de la distribution selon un paramètre et son dual[3]. L'information de Fisher joue un rôle particulier en tant que métrique de par ses propriétés d'additivité et d'invariance par rapport à l'échantillonnage statistique (théorème de Chentsov ou Čencov [4]). C'est une métrique qui est donc naturelle lorsque sont considérées des distributions de probabilité. De plus, l'approche du concept d'information sous l'angle de la géométrie différentielle permet de proposer un cadre cohérent liant différents concepts :

Formulations alternatives[modifier | modifier le code]

Il existe un très grand nombre de formulations alternatives de l'information de Fisher révélant certaines propriétés intéressantes.

  • Écriture sous la forme d'une courbure.
I(\theta_i,\theta_j)=- E\left[ 
\left(\frac{\partial^2}{\partial \theta_i\partial \theta_j} \log f(X;\vec\theta) \right)
\right].
I(\theta_i,\theta_j)=\int
\frac{1}{f(x;\vec\theta)} \cdot
\frac{\partial f(x;\vec\theta)}{\partial \theta_i}
\frac{\partial f(x;\vec\theta)}{\partial \theta_j}
\, dx.
  • Écriture symétrique sous la forme d'amplitudes de probabilité (introduites par Fisher en 1943, sous forme de distributions réelles indépendamment du développement de la mécanique quantique où l'on utilise les distributions complexes [3]). Cette formulation est à rapprocher de la définition de la distance de Hellinger.
I(\theta_i,\theta_j)=4 \int 
\frac{\partial q(x;\vec\theta)}{\partial \theta_i}
\frac{\partial q(x;\vec\theta)}{\partial \theta_j}
\, dx, \hbox{ où } q(x;\vec\theta)=  \sqrt f(x;\vec\theta).
I(\theta_i,\theta_j)=\int 
\frac{\partial f(x;\vec\theta)}{\partial \theta_i}
\frac{\partial \log f(x;\vec\theta)}{\partial \theta_j}
\, dx
=\int 
\frac{\partial \log f(x;\vec\theta)}{\partial \theta_i}
\frac{\partial f(x;\vec\theta)}{\partial \theta_j}
\, dx..
  • Écriture générale pour l'ensemble des α-représentations de Amari[2] :
I(\theta_i,\theta_j)=
\frac{4}{1-\alpha^2}
\int 
\frac{\partial f^\frac{1-\alpha}{2} (x;\vec\theta)}{\partial \theta_i}
\frac{\partial f^\frac{1+\alpha}{2} (x;\vec\theta)}{\partial \theta_j}
\, dx..

Information apportée par une statistique[modifier | modifier le code]

De la même façon que l'on a défini l'information de Fisher pour le vecteur des observations X, on peut définir l'information de Fisher contenue dans une statistique S(X):

I_{S}(\theta)=\mathbb{E}_\theta\left[ 
\left(\nabla_\theta \log f_S(S;\theta) \right)\cdot\left(\nabla_\theta \log f_S(S;\theta)\right)'\right].

Cette définition est exactement la même que celle de l'information de Fisher pour X pour un modèle multiparamétrique, on remplace juste la densité de X par celle de S(X) la statistique S. Deux théorèmes illustrent l'intérêt de cette notion :

  • Pour une statistique exhaustive on a I_{S}(\theta)=I(\theta) ce qui permet de voir une statistique exhaustive comme une statistique comprenant toute l'information du modèle. L'on a aussi la réciproque à savoir que si I_{S}(\theta)=I(\theta) alors S est exhaustif bien que cette caractérisation est rarement utilisée dans ce sens la définition grâce au critère de factorisation des statistiques exhaustives étant souvent plus maniable.
  • Quelle que soit la statistique S, I_{S}(\theta)\leq I(\theta) avec un cas d'égalité uniquement pour des statistiques exhaustives. On ne peut donc récupérer plus d'information que celle contenue dans une statistique exhaustive. Ceci explique en grande partie l'intérêt des statistiques exhaustives pour l'estimation. La relation d'ordre est ici la relation d'ordre partielle sur les matrices symétriques à savoir qu'une matrice A\leq B si B-A est une matrice symétrique positive.

Liens avec d'autres notions[modifier | modifier le code]

L'information de Fisher est peut être reliée à diverses notions :

  • L'information de Shannon et l'entropie de Boltzmann. L'information de Fisher résulte d'une différentiation locale de l'information de Shannon dans l'espace des distributions de probabilité[5].
  • L'énergie physique. Les équations de base de la physique peuvent être vues comme l'expression de l'information de Fisher relative au problème posé [3], tout dépendant du jeu de variables physiques indépendantes et des règles d'invariances considérées. Différents lagrangiens courants peuvent ainsi être déduits de l'information de Fisher.

La conservation de l'énergie est vue comme découlant de la conservation de l'information. Par exemple, on considère une fonction d'onde complexe \Psi (telle que la densité de probabilité de présence de la particule soit |\Psi |^2) dans les coordonnées de Minkowski (ix, iy, iz, ct). Si on considère ces coordonnées comme canoniques i.e. suffisantes, équivalentes et indépendantes, l'information de Fisher intrinsèque associée est

I=4 \int \vec\nabla\Psi \cdot (\vec\nabla\Psi)^* \,c \,dx  \,dy  \,dz  dt

\vec\nabla=(-i\partial_x,-i\partial_y,-i\partial_z,\frac{1}{c}\partial_t).

En passant dans l'espace réciproque, il vient :

\vec {\tilde \nabla}=(k_x,k_y,k_z,\frac{i}{c}\omega)

I \propto (\frac{\omega^2}{c^2}-|k|^2)|\tilde\Psi|^2 \,dk_x  \,dk_y  \,dk_z  d\omega.

Autrement dit, d'après les relations de Planck

I \propto \int (\frac{E^2}{c^2}-|p|^2)|\tilde\Psi|^2 \, \,dp_x  \,dp_y  \,dp_z  dE .

La conservation de cette information correspond conceptuellement à l'invariance de la masse de la particule, selon la relation classique de la relativité restreinte E^2-p^2c^2=m^2c^4, ce qui a pour équivalent en physique quantique l'équation de Klein-Gordon [3].

Notes et références[modifier | modifier le code]

  1. C.R. Rao, Information and accuracy attainable in the estimation of statistical parameters, Bulletin of the Calcutta Mathematical Society, 37:81-91, 1945
  2. a et b S. Amari, H. Nagaoka, Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society, 2000 (ISBN 978-0821805312)
  3. a, b, c et d B.R. Frieden,Science from Fisher Information, Cambridge, 2004
  4. N. N. Chentsov (Čencov), Statistical Decision Rules and Optimal Inference, Translations of Mathematical Monographs; v. 53, American Mathematical Society, 1982
  5. C.R. Rao, Differential Geometry in Statistical Inference, Chapitre 5, Institute of Mathematical Statistics, 1987
  • Alain Monfort, Cours de statistique mathématique, 1982, Economica. Paris.

Voir aussi[modifier | modifier le code]

Liens externes[modifier | modifier le code]

  • P. Druilhet [1] Cours de statistique inférentielle.