Entropie de Rényi

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Page d'aide sur l'homonymie Pour les articles homonymes, voir Entropie.

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

Définition formelle[modifier | modifier le code]

L'entropie de Rényi d'une variable aléatoire discrète x à n valeurs possibles est définie par la formule :

R(x)= \frac{1}{1-\alpha}\log_2{\mathbf E [p(i)^{\alpha-1}]} = \frac{1}{1-\alpha}\log_2 \left( \sum_{i=1}^np(i)^\alpha \right)

\mathbf E est l'espérance mathématique, \alpha > 0 et \alpha \neq 1.

Cas particuliers de H_\alpha[modifier | modifier le code]

Si \alpha = 0:

H_0(X) = \log n = \log |X|

ce qui correspond au logarithme du cardinal de X, que l'on appelle aussi entropie de Hartley.

D'après la Règle de L'Hôpital, on peut prouver que quand \alpha tend vers 1 alors:

H_1(X) = - \sum_{i=1}^n p_i \log p_i

ce qui correspond à l'entropie de Shannon.

Dans le cas où \alpha = 2, on trouve l'entropie de collision, appelée parfois simplement "entropie de Rényi":

H_2(X) = - \log \sum_{i=1}^n p_i^2 = - \log P(X = Y)

Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.

En faisant tendre \alpha vers l'infini, on trouve:

H_\infty (X) = - \log \sup_{i=1..n} p_i

que l'on appelle l'entropie min.


Voir aussi[modifier | modifier le code]

  • Entropie de Shannon
  • (en) A. Rényi, On measures of entropy and information, in Proc. 4th Berkeley Symposium on Mathematical Statistics and Probability. vol. 1, 1960, p. 547-561.