Entropie conjointe

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

L'Entropie conjointe est une mesure d'entropie utilisée en théorie de l'information. L'entropie conjointe mesure combien d'information est contenu dans un système de deux variables aléatoires. Comme les autres entropies, l'entropie conjointe peut être mesurée en bits ou en nats, selon la base du logarithme utilisée.

Définition[modifier | modifier le code]

Si chaque paire d'états possibles  (x,y) des variables aléatoires  (X,Y) ont une probabilité  p_{x,y} alors l'entropie conjointe est définie par :

H(X,Y) = -\sum_{x,y} p_{x,y} \log_2(p_{x,y}) \!

Propriétés[modifier | modifier le code]

  • L'entropie conjointe est supérieure ou égale à l'entropie d'une seule variable :
 H(X,Y) \geq H(X)
  • Nous avons toujours l'entropie conjointe positive ou nulle :
 H(X,Y) \geq 0
  • Deux systèmes considérés ensemble ne peuvent pas apporter plus d'information que la somme des apports d'information de chacun :
 H(X,Y) \leq H(X) + H(Y)

avec égalité si X et Y sont des variables aléatoires indépendantes.

Voir aussi[modifier | modifier le code]