Distance de Hellinger

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

En Théorie des probabilités, pour toutes mesures de probabilités P et Q absolument continues par rapport à une troisième mesure \lambda, le carré de la distance de Hellinger entre P et Q est donné par :

H^2(P,Q) = \frac{1}{2}\displaystyle \int \left(\sqrt{\frac{dP}{d\lambda}} - \sqrt{\frac{dQ}{d\lambda}}\right)^2 d\lambda.

\frac{dP}{d\lambda} et \frac{dQ}{d\lambda} désignent respectivement les dérivées de Radon-Nykodym de P et Q. Cette définition ne dépend pas de \lambda, si bien que la distance de Hellinger entre P et Q ne change pas si \lambda est remplacée par une autre mesure de probabilité par rapport à laquelle P et Q soient absolument continues.

Pour alléger l'écriture, la formule précédente est couramment écrite :

H^2(P,Q) = \frac{1}{2}\int \left(\sqrt{dP} - \sqrt{dQ}\right)^2.

La distance de Hellinger H(P,Q) ainsi définie vérifie :

0\le H(P,Q) \le 1.

Remarque : Certains auteurs ne font pas figurer le facteur 1/2 précédant l'intégrale dans cette définition.

Propriétés[modifier | modifier le code]

  • La distance de Hellinger est une α-divergence de Amari[1], correspondant à la valeur α =0.

À ce titre c'est une f-divergence de Csiszár[2] et une divergence de Bregman[3].

Comme il s'agit de la seule distance (symétrique, auto-dualle) de la classe des α-divergences, c'est la distance canonique de l'espace des distributions de la famille exponentielle, le système de coordonnées associé étant r_i=2\sqrt{P_i}.

Autre conséquence, étant une α-divergence, la courbure locale (son Hessien en P) de la distance de Hellinger est égale à l'information de Fisher de la distribution P :

I_{uv}=\sum_i \frac{\partial r_i}{\partial u} \frac{\partial r_i}{\partial v}
I_{uv}= 4\sum_i \frac{\partial \sqrt{P_i}}{\partial u} \frac{\partial \sqrt{P_i}}{\partial v}.
D_B(P,Q) = -\ln \left( \sum_{i} \sqrt{P_i Q_i}\right)

par la relation

H(P,Q) = \sqrt{1 - \exp D_B(P,Q)}.

Exemples[modifier | modifier le code]

  • La distance de Hellinger entre deux lois normales P\sim\mathcal{N}(\mu_1,\sigma_1^2) et Q\sim\mathcal{N}(\mu_2,\sigma_2^2) est donnée par


H\left(P, Q\right)=\sqrt{\frac{1}{2}-\sqrt{
\frac{\sigma_1\sigma_2}{2\left(\sigma_1^2+\sigma_2^2\right)}e^{-\frac{1}{2}\frac{\left(\mu_1-\mu_2\right)^2}{\sigma_1^2+\sigma_2^2}}}}

H\left(P, Q\right) = 2 - \frac{4 \sqrt{\alpha \beta}}{\alpha + \beta}

Bibliographie[modifier | modifier le code]

Notes et références[modifier | modifier le code]

  1. S. Amari, H. Nagaoka, Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society, 2000 (ISBN 978-0821805312)
  2. (en) I. Csiszár, « Information-type measures of difference of probability distributions and indirect observation », Studia Sci. Math. Hungar., vol. 2,‎ 1967, p. 229-318
  3. L. Bregman, The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming, USSR Computational Mathematics and Mathematical Physics, Vol. 7(3): 200--217, 1967.

Articles connexes[modifier | modifier le code]