Entropie conditionnelle

Un article de Wikipédia, l'encyclopédie libre.
Ceci est une version archivée de cette page, en date du 7 mars 2020 à 21:54 et modifiée en dernier par VincentPalmieri (discuter | contributions). Elle peut contenir des erreurs, des inexactitudes ou des contenus vandalisés non présents dans la version actuelle.

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . Comme les autres entropies, elle se mesure généralement en bits.

Définitions

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Par le calcul

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de relativement à  :

En notant en cohérence avec la définition de l'entropie, on peut donc noter plus simplement

Par l'entropie conjointe

Étant donné deux variables aléatoires et avec pour entropies respectives et , et pour entropie conjointe , l'entropie conditionnelle de sachant est définie par :

Équivalence des définitions

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de ,


Propriétés

  • si et seulement si et sont indépendantes.


  • Règle de la chaîne. Avec variables aléatoires,


Intuition

Intuitivement, si le système combiné contient bits d'information, et si nous connaissons parfaitement la variable aléatoire , pour coder le système on peut économiser bits, et on n'a plus besoin que de bits.


Voir aussi