Canal binaire symétrique

Alice veut transmettre un message à Bob. Un canal binaire symétrique est un canal discret où Alice transmet une suite d’éléments de l'ensemble $\{0,1\}$ et où la probabilité d'erreur dans la transmission d'un symbole est de $p$, pour 0 et pour 1 (d'où la symétrie). Ce canal est sans mémoire, c'est-à-dire qu'aucune archive des messages n'est conservée.

En communication, un problème classique est d'envoyer de l'information d'une source à une destination via un canal de communication, en présence de bruit. Le codage de canal est l'ensemble des solutions à ce problème que sont les codes correcteurs.

La probabilité d'erreur sur un bit transmis d'Alice à Bob est de p

Détails techniques

Définition

L'idée du canal binaire symétrique est qu'il est utile de modéliser le bruit de canal. Dans ce modèle, chaque bit de données transmis est inversé avec une probabilité $p$ et est transmis sans erreur avec la probabilité complémentaire de $1-p$. Le paramètre $p$ détermine (c'est-à-dire qu'il définit uniquement) le canal binaire symétrique dont il est question.

Sans perte de généralité, on peut supposer que $p<1/2$. En effet, si $p=1/2$, le message codé ne dépend pas du message d'origine et si $p>1/2$, on ajoute $1$ à chaque bit du code et on est revenu au cas général.

Capacité

La capacité du canal est la quantité d'information que l'on peut y faire transiter ; elle est définie par ${\textstyle C=\max _{p_{X}}I(X;Y)}$ où $X$ est la variable aléatoire en entrée du canal, $Y$ la variable aléatoire en sortie et $I$ est l'information mutuelle. On cherche la distribution de $X$ qui maximise la quantité d'information transmise.

Posons que $X$ suit une loi de Bernoulli de paramètre $q$ ; $Y$ suit alors une loi de Bernoulli de paramètre $(1-q)p+q(1-p)$. L'information mutuelle est donnée par :

$I(X;Y)=H(Y)-H(X|Y)=h_{2}((1-q)p+q(1-p))-h_{2}(p)$

où $h_{2}$ est l'entropie de Shannon de la loi de Bernoulli : elle atteint son maximum de $1$ en ${\textstyle {\frac {1}{2}}}$. Cet argument est obtenu lorsque ${\textstyle q={\frac {1}{2}}}$, c'est-à-dire lorsque $X$ est uniforme. Le maximum est donc obtenu pour la loi uniforme, et la capacité du canal est :

$C=1-h_{2}(p)$

Solutions

Une solution simple pour se prémunir de ce type de bruit est d'envoyer plusieurs copies de chaque bit devant être transmis : c'est le code de répétition. Rendre l'information redondante est l'idée derrière le codage de canal, bien que ces techniques puissent être beaucoup plus élaborées (voir théorie des codes).

Voir aussi

• Un autre modèle d'erreur : canal binaire avec erreur de Bernoulli