Entropie de Rényi

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Page d'aide sur l'homonymie Pour les articles homonymes, voir Entropie.

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

Définition[modifier | modifier le code]

Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule :

Cas particuliers[modifier | modifier le code]

L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Hartley[modifier | modifier le code]

Le cas donne:

ce qui correspond au logarithme du cardinal de , qui correspond à l'entropie de Hartley.

Shannon[modifier | modifier le code]

D'après la règle de L'Hôpital, on peut trouver une limite à quand tend vers 1:

Cette expression correspond à l'entropie de Shannon.

Collision[modifier | modifier le code]

Dans le cas où , on trouve l'entropie dite de collision, appelée parfois simplement "entropie de Rényi":

Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.

Min[modifier | modifier le code]

En faisant tendre vers l'infini, on trouve:

Il s'agit de l'entropie min.

Voir aussi[modifier | modifier le code]

  • Entropie de Shannon
  • (en) A. Rényi, On measures of entropy and information, in Proc. 4th Berkeley Symposium on Mathematical Statistics and Probability. vol. 1, 1960, p. 547-561.