Entropie conditionnelle

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Page d'aide sur l'homonymie Pour les articles homonymes, voir Entropie.

L'entropie conditionnelle est une mesure d'entropie utilisée en théorie de l'information. L'entropie conditionnelle mesure l'entropie restante provenant de la variable aléatoire , si l'on connait parfaitement la seconde variable aléatoire . C'est l'entropie de conditionnée par . Cette entropie est notée . Comme les autres entropies, l'entropie conditionnelle se mesure généralement en bits.

Étant donné deux variables aléatoires et avec pour entropies respectives et , et pour entropie conjointe , l'entropie conditionnelle de étant donné est définie par :

Intuitivement, si le système combiné contient bits d'information, et si nous connaissons parfaitement la variable aléatoire , pour coder le système on peut économiser bits, et on n'a plus besoin que de bits.

si et seulement si la variable aléatoire Y est complètement déterminée par la variable aléatoire X. Inversement si et seulement si et sont des variables aléatoires indépendantes.

Voir aussi[modifier | modifier le code]