Un article de Wikipédia, l'encyclopédie libre.
Si ce bandeau n'est plus pertinent, retirez-le. Cliquez ici pour en savoir plus. L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.
Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble
(
X
)
{\displaystyle \mathbb {(} X)}
h (x)
h
(
x
)
=
−
∫
X
f
(
x
)
ln
f
(
x
)
d
x
.
{\displaystyle h({\mathsf {x}})=-\int _{\mathbb {X} }f(x)\ln f(x)\,\mathrm {d} x.}
Entropie différentielle pour plusieurs distributions [ modifier | modifier le code ] Dans le tableau qui suit,
Γ
(
x
)
=
∫
0
∞
e
−
t
t
x
−
1
d
t
{\displaystyle \Gamma (x)=\int _{0}^{\infty }{\rm {e}}^{-t}t^{x-1}{\rm {d}}t}
fonction gamma ,
ψ
(
x
)
=
d
d
x
ln
Γ
(
x
)
=
Γ
′
(
x
)
Γ
(
x
)
{\displaystyle \psi (x)={\frac {\rm {d}}{{\rm {d}}x}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}
fonction digamma ,
B
(
p
,
q
)
=
Γ
(
p
)
Γ
(
q
)
Γ
(
p
+
q
)
{\displaystyle \mathrm {B} (p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}
fonction bêta , et γ constante d'Euler-Mascheroni .
Table d'entropies différentielles.
Distribution
Fonction de distribution de probabilités
Entropie
Loi uniforme continue
f
(
x
)
=
1
b
−
a
1
1
[
a
,
b
]
{\displaystyle f(x)={\frac {1}{b-a}}1\!\!1_{[a,b]}}
ln
(
b
−
a
)
{\displaystyle \ln(b-a)\,}
Loi normale
f
(
x
)
=
1
2
π
σ
2
exp
(
−
(
x
−
μ
)
2
2
σ
2
)
{\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}
ln
(
σ
2
π
e
)
{\displaystyle \ln \left(\sigma {\sqrt {2\pi \,{\rm {e}}}}\right)}
Loi exponentielle
f
(
x
)
=
λ
exp
(
−
λ
x
)
{\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}
1
−
ln
λ
{\displaystyle 1-\ln \lambda \,}
Loi de Cauchy
f
(
x
)
=
λ
π
1
λ
2
+
x
2
{\displaystyle f(x)={\frac {\lambda }{\pi }}{\frac {1}{\lambda ^{2}+x^{2}}}}
ln
(
4
π
λ
)
{\displaystyle \ln(4\pi \lambda )\,}
Loi du χ²
f
(
x
)
=
1
2
n
/
2
σ
n
Γ
(
n
/
2
)
x
n
2
−
1
exp
(
−
x
2
σ
2
)
{\displaystyle f(x)={\frac {1}{2^{n/2}\sigma ^{n}\Gamma (n/2)}}x^{{\frac {n}{2}}-1}\exp \left(-{\frac {x}{2\sigma ^{2}}}\right)}
ln
2
σ
2
Γ
(
n
2
)
−
(
1
−
n
2
)
ψ
(
n
2
)
+
n
2
{\displaystyle \ln 2\sigma ^{2}\Gamma \left({\frac {n}{2}}\right)-\left(1-{\frac {n}{2}}\right)\psi \left({\frac {n}{2}}\right)+{\frac {n}{2}}}
Distribution Gamma
f
(
x
)
=
x
α
−
1
exp
(
−
x
β
)
β
α
Γ
(
α
)
{\displaystyle f(x)={\frac {x^{\alpha -1}\exp(-{\frac {x}{\beta }})}{\beta ^{\alpha }\Gamma (\alpha )}}}
ln
(
β
Γ
(
α
)
)
+
(
1
−
α
)
ψ
(
α
)
+
α
{\displaystyle \ln(\beta \Gamma (\alpha ))+(1-\alpha )\psi (\alpha )+\alpha \,}
Loi logistique
f
(
x
)
=
e
−
x
(
1
+
e
−
x
)
2
{\displaystyle f(x)={\frac {{\rm {e}}^{-x}}{(1+{\rm {e}}^{-x})^{2}}}}
2
{\displaystyle 2\,}
Statistique de Maxwell-Boltzmann
f
(
x
)
=
4
π
−
1
2
β
3
2
x
2
exp
(
−
β
x
2
)
{\displaystyle f(x)=4\pi ^{-{\frac {1}{2}}}\beta ^{\frac {3}{2}}x^{2}\exp(-\beta x^{2})}
1
2
ln
π
β
+
γ
−
1
2
{\displaystyle {\frac {1}{2}}\ln {\frac {\pi }{\beta }}+\gamma -{\frac {1}{2}}}
Distribution de Pareto
f
(
x
)
=
a
k
a
x
a
+
1
{\displaystyle f(x)={\frac {ak^{a}}{x^{a+1}}}}
ln
k
a
+
1
+
1
a
{\displaystyle \ln {\frac {k}{a}}+1+{\frac {1}{a}}}
Loi de Student
f
(
x
)
=
(
1
+
x
2
/
n
)
−
n
+
1
2
n
B
e
t
a
(
1
2
,
n
2
)
{\displaystyle f(x)={\frac {(1+x^{2}/n)^{-{\frac {n+1}{2}}}}{{\sqrt {n}}\,Beta({\frac {1}{2}},{\frac {n}{2}})}}}
n
+
1
2
ψ
(
n
+
1
2
)
−
ψ
(
n
2
)
+
ln
n
B
(
1
2
,
n
2
)
{\displaystyle {\frac {n+1}{2}}\psi \left({\frac {n+1}{2}}\right)-\psi \left({\frac {n}{2}}\right)+\ln {\sqrt {n}}\,\mathrm {B} \left({\frac {1}{2}},{\frac {n}{2}}\right)}
Distribution de Weibull
f
(
x
)
=
c
α
x
c
−
1
exp
(
−
x
c
α
)
{\displaystyle f(x)={\frac {c}{\alpha }}x^{c-1}\exp \left(-{\frac {x^{c}}{\alpha }}\right)}
(
c
−
1
)
γ
c
+
ln
α
1
/
c
c
+
1
{\displaystyle {\frac {(c-1)\gamma }{c}}+\ln {\frac {\alpha ^{1/c}}{c}}+1}
Loi normale multidimensionnelle
f
X
(
x
1
,
…
,
x
N
)
=
{\displaystyle f_{X}(x_{1},\dots ,x_{N})=}
1
(
2
π
)
N
/
2
|
Σ
|
1
/
2
exp
(
−
1
2
(
x
−
μ
)
⊤
Σ
−
1
(
x
−
μ
)
)
{\displaystyle {\frac {1}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}\exp \left(-{\frac {1}{2}}(x-\mu )^{\top }\Sigma ^{-1}(x-\mu )\right)}
1
2
ln
[
(
2
π
e
)
N
|
Σ
|
]
{\displaystyle {\frac {1}{2}}\ln \left[(2\pi {\rm {e}})^{N}|\Sigma |\right]}
![{\displaystyle f(x)={\frac {1}{b-a}}1\!\!1_{[a,b]}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/792f886da1565070453ea160b627f8e0bf3b86e0)
![{\displaystyle {\frac {1}{2}}\ln \left[(2\pi {\rm {e}})^{N}|\Sigma |\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/be6ad50708fe09866888447f7a4abc7475f8d10e)
