Entropie différentielle

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Ce modèle est-il pertinent ? Cliquez pour en voir d'autres.
Cet article ne cite pas suffisamment ses sources (octobre 2009).

Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références » (modifier l'article, comment ajouter mes sources ?).

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.

Définition[modifier | modifier le code]

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble \mathbb(X) on définit l'entropie différentielle h(x) par:

h(x) = -\int_\mathbb{X} f(x)\ln f(x)\,dx.

Entropie différentielle pour plusieurs distributions[modifier | modifier le code]

Table d'entropies différentielles.
Distribution Fonction de distribution de probabilités Entropie
Loi uniforme continue f(x) = \frac{1}{b-a} pour a \leq x \leq b \ln(b - a) \,
Loi normale f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \ln\left(\sigma\sqrt{2\,\pi\,e}\right)
Loi exponentielle f(x) = \lambda \exp\left(-\lambda x\right) 1 - \ln \lambda \,
Loi de Cauchy f(x) = \frac{\lambda}{\pi} \frac{1}{\lambda^2 + x^2} \ln(4\pi\lambda) \,
Loi du χ² f(x) = \frac{1}{2^{n/2} \sigma^n \Gamma(n/2)} x^{\frac{n}{2} - 1} \exp\left(-\frac{x}{2\sigma^2}\right)

\ln 2\sigma^{2}\Gamma\left(\frac{n}{2}\right) - \left(1 - \frac{n}{2}\right)\psi\left(\frac{n}{2}\right) + \frac{n}{2}

Distribution Gamma f(x) = \frac{x^{\alpha - 1} \exp(-\frac{x}{\beta})}{\beta^\alpha \Gamma(\alpha)} \ln(\beta \Gamma(a)) + (1 - \alpha)\psi(\alpha) + \alpha \,
Loi logistique f(x) = \frac{e^{-x}}{(1 + e^{-x})^2} 2 \,
Statistique de Maxwell-Boltzmann f(x) = 4 \pi^{-\frac{1}{2}} \beta^{\frac{3}{2}} x^{2} \exp(-\beta x^2) \frac{1}{2} \ln \frac{\pi}{\beta} + \gamma - 1/2
Distribution de Pareto f(x) = \frac{a k^a}{x^{a+1}} \ln \frac{k}{a} + 1 + \frac{1}{a}
Loi de Student f(x) = \frac{(1 + x^2/n)^{-\frac{n+1}{2}}}{\sqrt{n}B(\frac{1}{2},\frac{n}{2})} \frac{n+1}{2}\psi\left(\frac{n+1}{2}\right) - \psi\left(\frac{n}{2}\right) + \ln \sqrt{n} B\left(\frac{1}{2},\frac{n}{2}\right)
Distribution de Weibull f(x) = \frac{c}{\alpha} x^{c-1} \exp\left(-\frac{x^c}{\alpha}\right) \frac{(c-1)\gamma}{c} + \ln \frac{\alpha^{1/c}}{c} + 1
Loi normale multidimensionnelle 
f_X(x_1, \dots, x_N) =  \frac{1} {(2\pi)^{N/2} \left|\Sigma\right|^{1/2}}
\exp \left( -\frac{1}{2} ( x - \mu)^\top \Sigma^{-1} (x - \mu) \right) \frac{1}{2}\ln\{(2\pi e)^{N} \det(\Sigma)\}