Entropie conditionnelle

Un article de Wikipédia, l'encyclopédie libre.

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . Comme les autres entropies, elle se mesure généralement en bits.

Définitions[modifier | modifier le code]

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Par le calcul[modifier | modifier le code]

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de relativement à  :

Par l'entropie conjointe[modifier | modifier le code]

Étant donné deux variables aléatoires et avec pour entropies respectives et , et pour entropie conjointe , l'entropie conditionnelle de sachant est définie par :

Équivalence des définitions[modifier | modifier le code]

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de ,

Propriétés[modifier | modifier le code]

  • si et seulement si et sont indépendantes.
  • Règle de la chaîne : avec variables aléatoires,

Intuition[modifier | modifier le code]

Intuitivement, si le système combiné contient bits d'information, et si nous connaissons parfaitement la variable aléatoire , pour coder le système on peut économiser bits, et on n'a plus besoin que de bits.

Voir aussi[modifier | modifier le code]