Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.

Définition

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble $\mathbb {(} X)$ on définit l'entropie différentielle h(x) par:

$h({\mathsf {x}})=-\int _{\mathbb {X} }f(x)\ln f(x)\,dx.$

Entropie différentielle pour plusieurs distributions

Table d'entropies différentielles.

Distribution	Fonction de distribution de probabilités	Entropie
Loi uniforme continue	$f(x)={\frac {1}{b-a}}$ pour $a\leq x\leq b$	$\ln(b-a)\,$
Loi normale	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)$
Loi exponentielle	$f(x)=\lambda \exp \left(-\lambda x\right)$	$1-\ln \lambda \,$
Loi de Cauchy	$f(x)={\frac {\lambda }{\pi }}{\frac {1}{\lambda ^{2}+x^{2}}}$	$\ln(4\pi \lambda )\,$
Loi du χ²	$f(x)={\frac {1}{2^{n/2}\sigma ^{n}\Gamma (n/2)}}x^{{\frac {n}{2}}-1}\exp \left(-{\frac {x}{2\sigma ^{2}}}\right)$	$\ln 2\sigma ^{2}\Gamma \left({\frac {n}{2}}\right)-\left(1-{\frac {n}{2}}\right)\psi \left({\frac {n}{2}}\right)+{\frac {n}{2}}$
Distribution Gamma	$f(x)={\frac {x^{\alpha -1}\exp(-{\frac {x}{\beta }})}{\beta ^{\alpha }\Gamma (\alpha )}}$	$\ln(\beta \Gamma (\alpha ))+(1-\alpha )\psi (\alpha )+\alpha \,$
Loi logistique	$f(x)={\frac {e^{-x}}{(1+e^{-x})^{2}}}$	$2\,$
Statistique de Maxwell-Boltzmann	$f(x)=4\pi ^{-{\frac {1}{2}}}\beta ^{\frac {3}{2}}x^{2}\exp(-\beta x^{2})$	${\frac {1}{2}}\ln {\frac {\pi }{\beta }}+\gamma -1/2$
Distribution de Pareto	$f(x)={\frac {ak^{a}}{x^{a+1}}}$	$\ln {\frac {k}{a}}+1+{\frac {1}{a}}$
Loi de Student	$f(x)={\frac {(1+x^{2}/n)^{-{\frac {n+1}{2}}}}{{\sqrt {n}}B({\frac {1}{2}},{\frac {n}{2}})}}$	${\frac {n+1}{2}}\psi \left({\frac {n+1}{2}}\right)-\psi \left({\frac {n}{2}}\right)+\ln {\sqrt {n}}B\left({\frac {1}{2}},{\frac {n}{2}}\right)$
Distribution de Weibull	$f(x)={\frac {c}{\alpha }}x^{c-1}\exp \left(-{\frac {x^{c}}{\alpha }}\right)$	${\frac {(c-1)\gamma }{c}}+\ln {\frac {\alpha ^{1/c}}{c}}+1$
Loi normale multidimensionnelle	$f_{X}(x_{1},\dots ,x_{N})=$ ${\frac {1}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}\exp \left(-{\frac {1}{2}}(x-\mu )^{\top }\Sigma ^{-1}(x-\mu )\right)$	${\frac {1}{2}}\ln\{(2\pi e)^{N}|\Sigma |\}$