Entropie différentielle

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.

Définition[modifier | modifier le code]

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble \mathbb(X) on définit l'entropie différentielle h(x) par:

h(x) = -\int_\mathbb{X} f(x)\ln f(x)\,dx.

Entropie différentielle pour plusieurs distributions[modifier | modifier le code]

Table d'entropies différentielles.
Distribution Fonction de distribution de probabilités Entropie
Loi uniforme continue f(x) = \frac{1}{b-a} pour a \leq x \leq b \ln(b - a) \,
Loi normale f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \ln\left(\sigma\sqrt{2\,\pi\,e}\right)
Loi exponentielle f(x) = \lambda \exp\left(-\lambda x\right) 1 - \ln \lambda \,
Loi de Cauchy f(x) = \frac{\lambda}{\pi} \frac{1}{\lambda^2 + x^2} \ln(4\pi\lambda) \,
Loi du χ² f(x) = \frac{1}{2^{n/2} \sigma^n \Gamma(n/2)} x^{\frac{n}{2} - 1} \exp\left(-\frac{x}{2\sigma^2}\right)

\ln 2\sigma^{2}\Gamma\left(\frac{n}{2}\right) - \left(1 - \frac{n}{2}\right)\psi\left(\frac{n}{2}\right) + \frac{n}{2}

Distribution Gamma f(x) = \frac{x^{\alpha - 1} \exp(-\frac{x}{\beta})}{\beta^\alpha \Gamma(\alpha)} \ln(\beta \Gamma(a)) + (1 - \alpha)\psi(\alpha) + \alpha \,
Loi logistique f(x) = \frac{e^{-x}}{(1 + e^{-x})^2} 2 \,
Statistique de Maxwell-Boltzmann f(x) = 4 \pi^{-\frac{1}{2}} \beta^{\frac{3}{2}} x^{2} \exp(-\beta x^2) \frac{1}{2} \ln \frac{\pi}{\beta} + \gamma - 1/2
Distribution de Pareto f(x) = \frac{a k^a}{x^{a+1}} \ln \frac{k}{a} + 1 + \frac{1}{a}
Loi de Student f(x) = \frac{(1 + x^2/n)^{-\frac{n+1}{2}}}{\sqrt{n}B(\frac{1}{2},\frac{n}{2})} \frac{n+1}{2}\psi\left(\frac{n+1}{2}\right) - \psi\left(\frac{n}{2}\right) + \ln \sqrt{n} B\left(\frac{1}{2},\frac{n}{2}\right)
Distribution de Weibull f(x) = \frac{c}{\alpha} x^{c-1} \exp\left(-\frac{x^c}{\alpha}\right) \frac{(c-1)\gamma}{c} + \ln \frac{\alpha^{1/c}}{c} + 1
Loi normale multidimensionnelle 
f_X(x_1, \dots, x_N) =  \frac{1} {(2\pi)^{N/2} \left|\Sigma\right|^{1/2}}
\exp \left( -\frac{1}{2} ( x - \mu)^\top \Sigma^{-1} (x - \mu) \right) \frac{1}{2}\ln\{(2\pi e)^{N} \det(\Sigma)\}