Canal de communication (théorie de l'information)

En théorie de l'information, un canal de communication ou canal de transmission est un support (physique ou non) permettant la transmission d'une certaine quantité d'information, depuis une source (ou émetteur) vers un destinataire (ou récepteur). Souvent, le canal altère l'information transmise, par exemple en ajoutant un bruit aléatoire.

La quantité d'information qu'un canal de communication peut transporter est limitée : on parle de capacité du canal.

Définition et enjeux

On peut décomposer simplement un système de communication en trois grandes parties^{[S 1]} : une source d'information (associée à un transmetteur), un destinataire (associé à un récepteur), et le canal de communication, qui assure la liaison entre les deux. Selon les modèles de canaux, l'information transmise peut être discrète ou continue.

Souvent, le canal est équipé d'un modèle probabiliste qui décrit le signal sortant en fonction du signal entrant. Cela correspond à des situations réelles comme la transmission d'un signal logique sur un fil ou d'un message sur l'Internet, car les canaux réels ne sont pas entièrement fiables et les erreurs ne se produisent pas de façon systématique.

L'objectif du destinataire est donc de reconstituer le message original à partir de l'information transmise par le canal, ce qui donne lieu à l'usage de codes et plus spécifiquement de codes correcteurs d'erreurs.

Canal de communication discret

Définitions

Canal discret (Définition) — Un canal de communication est dit discret^{[S 2]} lorsqu'il transmet une séquence de symboles $s_{1}...s_{n}$ où $n\in N$ .

L'ensemble fini $S$ des valeurs possibles des $s_{i}$ est appelé alphabet.

Le télégraphe est un exemple de système dans lequel le canal de communication est dit discret : on transmet une suite de symboles élémentaires (code Morse). Les signaux logiques comme le binaire sont également discrets.

Débit et capacité

Modèle probabiliste

Canal de communication.

On considère un canal $W$ dont l'alphabet d'entrée est $S$ et l'alphabet de sortie est $S'$ . Cela signifie que les symboles du message émis sont des lettres de $S$ et que ceux du message reçu sont des lettres de $S'$ . Le canal est défini par une loi de probabilité décrivant la probabilité de la sortie en fonction de l'entrée.

Supposons que l'on envoie un symbole $s\in S$ dans le canal ; la probabilité que le symbole sortant soit $s'\in S'$ est notée $W(s'|s)$ . Si les deux alphabets sont identiques, la probabilité que le symbole soit transmis de façon fidèle est $W(s|s)$ .

Dans le cas général, on modélise le symbole transmis par une variable aléatoire $X$ de loi $P(X=s_{i})=p_{i}$ (avec ${\textstyle \sum _{S}p_{i}=1}$ ). Différents choix existent pour cette loi, notamment :

La loi uniforme : $p_{i}={\frac {1}{|S|}}$
Lorsque le message transmis est un mot $w\in S^{*}$ , une définition naturelle est $p_{i}={\frac {|w|_{s_{i}}}{|w|}}$ : la proportion d'apparition de la lettre $s_{i}$ dans $w$ .

Dans cette situation, le symbole en sortie du canal est aussi une variable aléatoire, $Y$ , dont la loi dépend de celle de $X$ :

$P(Y=s')=\sum _{s\in S}P(X=s)\times W(s'|s)$

On retrouve alors la capacité du canal en observant l'information mutuelle $I(X;Y)$ entre l'entrée et la sortie. L'information mutuelle représente informellement la quantité d'information de $X$ qui a été préservée par le passage dans le canal. La capacité du canal de communication est alors définie par :

$C=\sup _{p_{X}}I(X;Y)$

La borne supérieure porte sur la distribution de probabilité de $X$ . Pour exploiter toute la capacité du canal, il faut donc choisir judicieusement les symboles que l'on y envoie, car tous ne sont pas traités également.

Principaux types

Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?

Canal binaire symétrique

Canaux parallèles

Lorsque $W$ est un canal d'entrée $S$ et de sortie $S'$ , on définit pour tout $n\geq 1$ le canal $W^{\times n}$ qui représente $n$ copies indépendantes et parallèles de $W$ . Il prend son entrée dans $S^{n}$ et produit une sortie dans $S'^{n}$ selon la distribution de probabilité :

$W^{\times n}(y_{1}\dots y_{n}|x_{1}\dots x_{n})=W(y_{1}|x_{1})\times \dots \times W(y_{n}|x_{n})$

Canal de communication continu

Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?

Mesure de la performance d'un canal

Lorsqu'on veut transmettre par un canal un message $m\in \{1\dots M\}$ parmi $M$ messages possibles, on choisit un code représenté par deux fonctions :

Un encodeur $E:\{1\dots M\}\to S$
Un décodeur $D:S'\to \{1\dots M\}$

Le message est transmis par le canal puis réinterprété à l'aide du décodeur pour donner une estimation ${\hat {m}}$ du message original. Plusieurs mesures peuvent être utilisées pour interpréter la performance du canal, notamment :

La probabilité d'erreur $P_{err}=\mathbb {P} ({\hat {m}}\neq m)$ . Dans le cas d'un canal discret (et en supposant que $m$ est tiré uniformément), cette probabilité s'exprime par :
$P_{err}=1-{\frac {1}{M}}\sum _{m=1}^{M}\sum _{s'\in S}W(s'|E(m))\mathbf {1} _{\{D(s')=m\}}$
La probabilité d'erreur maximale, qui représente le pire cas pour la transmission :
$P_{err,max}=\max _{m_{0}\in \{1\dots M\}}\mathbb {P} ({\hat {m}}\neq m_{0}|m=m_{0})$

Il y a un compromis naturel entre le nombre $M$ de messages différents transmis et la probabilité d'erreur de transmission $P_{err}$ . On s'intéresse souvent au meilleur $M$ que l'on peut obtenir pour une certaine valeur maximale de $P_{err}>0$ , noté $M_{opt}(W,P_{err})$ .