Entropie différentielle

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.

Définition[modifier | modifier le code]

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble on définit l'entropie différentielle h(x) par:

Entropie différentielle pour plusieurs distributions[modifier | modifier le code]

Table d'entropies différentielles.
Distribution Fonction de distribution de probabilités Entropie
Loi uniforme continue pour
Loi normale
Loi exponentielle
Loi de Cauchy
Loi du χ²

Distribution Gamma
Loi logistique
Statistique de Maxwell-Boltzmann
Distribution de Pareto
Loi de Student
Distribution de Weibull
Loi normale multidimensionnelle