Entropie de Rényi

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
image illustrant les mathématiques
Cet article est une ébauche concernant les mathématiques.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Page d'aide sur l'homonymie Pour les articles homonymes, voir Entropie.

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

Définition[modifier | modifier le code]

Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule :

Cas particuliers[modifier | modifier le code]

L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Hartley[modifier | modifier le code]

Le cas donne:

ce qui correspond au logarithme du cardinal de , qui correspond à l'entropie de Hartley.

Shannon[modifier | modifier le code]

D'après la règle de L'Hôpital, on peut trouver une limite à quand tend vers 1:

Cette expression correspond à l'entropie de Shannon.

Collision[modifier | modifier le code]

Dans le cas où , on trouve l'entropie dite de collision, appelée parfois simplement "entropie de Rényi":

Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.

Min[modifier | modifier le code]

En faisant tendre vers l'infini, on trouve:

Il s'agit de l'entropie min.

Voir aussi[modifier | modifier le code]

  • Entropie de Shannon
  • (en) A. Rényi, On measures of entropy and information, in Proc. 4th Berkeley Symposium on Mathematical Statistics and Probability. vol. 1, 1960, p. 547-561.