Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire $Y$ , lorsque l'on connait exactement une variable aléatoire $X$ . On note $\mathrm {H} (Y|X)$ l'entropie conditionnelle de $Y$ sachant $X$ . Comme les autres entropies, elle se mesure généralement en bits.

Définitions

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Par le calcul

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de $Y$ relativement à $X$ :

\sum _{y\in Y}\sum _{x\in X}-\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (Y=y|X=x))

Par l'entropie conjointe

Étant donné deux variables aléatoires $X$ et $Y$ avec pour entropies respectives $\mathrm {H} (X)$ et $\mathrm {H} (Y)$ , et pour entropie conjointe $\mathrm {H} (X,Y)$ , l'entropie conditionnelle de $Y$ sachant $X$ est définie par :

\mathrm {H} (Y|X)\equiv \mathrm {H} (X,Y)-\mathrm {H} (X)

Équivalence des définitions

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de $\mathrm {H} (Y|X)$ ,

\mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)

Démonstration

${\begin{aligned}\mathrm {H} (X,Y)-\mathrm {H} (X)&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x,Y=y))+\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x))\\&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}\left({\frac {\mathbb {P} (X=x,Y=y)}{\mathbb {P} (X=x)}}\right)\\&=\mathrm {H} (Y|X)\end{aligned}}$

Propriétés

$\mathrm {H} (Y|X)=\mathrm {H} (Y)$ si et seulement si $Y$ et $X$ sont indépendantes.

Démonstration

$\mathrm {H} (Y|X)=\sum _{x\in X}\mathbb {P} (X=x)\mathrm {H} (Y|X=x)=0$ lorsque tous les termes de la somme sont nulles. Soit $x\in X$ tel que $\mathbb {P} (X=x)\neq 0$ , on a donc $\mathrm {H} (Y|X=x)=0$ , ce qui implique qu'il existe un unique élément $y\in Y$ vérifiant $\mathbb {P} (Y=y|X=x)=1$ . On peut donc définir une fonction $f$ telle que $g(y)=x$ pour tous les éléments de probabilité non nulle. Comme toutes les probabilités somment à $1$ , la probabilité de $Y$ est entièrement définie

Règle de la chaîne : avec $X_{1},...X_{n}$ variables aléatoires,

\mathrm {H} (X_{1},...,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},...,X_{i-1})

Démonstration

On connait la relation équivalente pour des probabilités :

\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})=\prod _{i=1}^{n}\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1})

Par conséquent,

\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1},...,x_{n}}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n}))=-\sum _{x_{1},...,x_{n}}\sum _{i=1}^{n}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1}))

D'où en inversant les sommes

=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{i-1},...X_{1})

Intuition

Intuitivement, si le système combiné contient $\mathrm {H} (X,Y)$ bits d'information, et si nous connaissons parfaitement la variable aléatoire $X$ , pour coder le système on peut économiser $\mathrm {H} (X)$ bits, et on n'a plus besoin que de $\mathrm {H} (Y|X)$ bits.

Voir aussi