Théorème du codage de source

Cet article est une ébauche concernant l’informatique.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Le Théorème du codage de source (ou premier théorème de Shannon, ou moins usité en français, théorème de codage sans bruit) est un théorème énoncé par Claude Shannon en 1948, qui énonce la limite théorique pour la compression d'une source.

Le raisonnement de Shannon se base sur des vecteurs de $n$ symboles et sur une source stationnaire (suite de variables indépendantes et identiquement distribuées). Le théorème montre que lorsque $n\to +\infty$ , la longueur moyenne du code tend vers l'entropie.

Pour les codes par symboles, le théorème se simplifie en: $H(X)\leq L<H(X)+1$ .

Bibliographie

C.E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379-423, July 1948.

Portail de l’informatique