Discussion:Entropie de Shannon

Définition formelle

J'ai ajouté un peu de formalisme dans cette section, entre autres la partie qui justifie l'utilisation du logarithme. Je me propose également de donner la preuve pour la maximisation de l'entropie lorsque les événements sont équiprobables, à savoir $H(X)\leq log(K)$. --Simard (d) 4 novembre 2008 à 06:02 (CET)

C'est maintenant fait. --Simard (d) 4 novembre 2008 à 18:42 (CET)

Erreur

La phrase "elle est maximale pour une distribution uniforme, c’est-à-dire quand tous les états ont la même probabilité ; " est fausse appliquée a la formule indiquée au dessus. Par exemple pour deux états possibles

si il sont équiprobables on a : P(1) = P(2) = 0.5 ce qui donne -1 comme espérance du log2(P(i)) , donc dans ce cas l'entropie vaut 1.

Dans le cas ou P(1) est tres supérieur à P(2), par exemple P(1) = 0.99 et P(2) = 0.01

log2(0.99) = -0,01449957 log2(0.01) = -6,64385619

ce qui fait une entropie de 3,32917788 ce qui est supérieur à 1 — Le message qui précède, non signé, a été déposé par l'IP 194.3.113.1 (discuter)

Tu as peut etre fait une faute de frappe sur ta calculette... car -(0.99*log2(0.99)+0.01*log2(0.01))=0.808 < 1 donc ok. Sylenius (d) 18 juin 2008 à 10:06 (CEST)

Partie Applications

Pour la partie d'application à la sélection de points de vue qui a été supprimée pour restaurée, je suis pour le fait de le garder mais en parler plus brièvement. Je propose plutôt de ne garder que la 1ère formule (la plus générale) avec une ligne pour expliquer de quoi il s'agit, ceci afin de montrer des utilisations de cette formule dans quelques domaines différents. Ensuite, je ne sais pas si un article complet sur la sélection de point de vue (contenant l'explication complète, plus plein d'autres choses) intéresserait quelqu'un. Vos propositions ? Gueben 22 juillet 2006 à 15:10 (CEST)

C'est une bonne idée, n'hésite pas :) Manproc 22 juillet 2006 à 15:23 (CEST)

personnellement je pense que c'est toujours un peu beaucoup, mais vu que c'est vide pour l'instant, ok ;-). Par contre je suis tout à fait pour que tu en fasses une page complète si tu as assez d'info dessus, et qu'on ne mette plus que le lien vers cette page par la suite ;-) Sylenius 22 juillet 2006 à 22:04 (CEST)

citations

c'est quoi la différence entre les 2 citations dans la partie historique ??? je vois pas très bien ce que ça apporte de mettre 2 citatiosn quasi-identiques??? Sylenius 22 juillet 2006 à 22:04 (CEST)

En fait, j'ai juste traduit la partie sur l'histoire de l'entropie du wiki anglophone. Je l'ai faite telle quelle, en me disant que des gens la retoucherait sûrement pour l'améliorer. C'est un peu dommage que les deux citations prennent autant de place, mais c'est un peu rigolo de voir que deux auteurs rapportent le même discours sous deux formes différentes (bien entendu, ça n'est pas un détail très pertinent sur l'entropie, mais ça montre que la citation ne dit sans doute pas exactement ce qui a été dit, bien que le fond soit correcte). Gueben 23 juillet 2006 à 04:43 (CEST)

Bon, en relisant ça me semble effectivement bien trop redondant, et de toutes façons ce que j'ai dit avant sur l'intérêt des deux citations est ridicules puisque c'est exactement la même chose :) Si vous voulez virer une des citations, faites vous plaisir, moi je vais me coucher Gueben

je propose (et fait -- vous n'avez qu'à défaire en cas de désaccord) de virer carrément les deux citations, et d'en résumer le sens en une courte phrase (qui est en fait déjà dans le chapeau) en laissant les références des citations précises (le lecteur passionné des anecdotes entre scientifiques s'y reportera). Levochik (d) 12 mai 2008 à 12:48 (CEST)

Ayé, j'ai un peu sabré l'article...mais je pense avoir gardé toutes les informations (il y avait beaucoup de doublons). Dites moi ce que vous en pensez, rien d'irréversible ! Levochik (d) 12 mai 2008 à 13:19 (CEST)

Erreur de frappe

Après avoir vérifié, il y avait une erreur de frappe dans une date : c'est apparemment en 1948 que Shannon a commencé à formaliser sa théorie.

Tribus

« Cette découverte fut qualifiée par Tribus de "révolution passée inaperçue" dans ce document (PDF). »

y'aurait-il moyen de préciser qui est ce personnage ? jamais entendu parler, et il ne semble pas forcément pertinent de citer un inconnu pour attester du caractère "révolutionnaire" d'une théorie. ceci dit c'est peut être moi l'ignorant, je ne demande, comme un wikipedien lambda, qu'à être convaincu...Levochik (d) 12 mai 2008 à 12:34 (CEST)

autant pour moi, le lien wiki est donné plus haut (ceci dit il reste à mon humble avis assez obscur, mais bon, pour une ligne de plus, peut-être pas la peine de finasser).Levochik (d) 12 mai 2008 à 13:20 (CEST)

Quelques défauts de l'article actuel

1. Pourquoi deux introductions ? (j'appelle introduction le chapeau aussi long que la partie introduction).

2. La définition formelle devrait venir plus tôt, je dirais après l'intro et en tout cas avant les anecdotes sur l'entrevue Von Neuman/Shannon : à la lecture de l'article, on se dit qu'il n'y a que du bla bla là dedans, c'est par miracle que j'ai dépassé les anecdotes pour voir, reléguée tout à la fin de l'article, une définition plus précise.

3. L'article affirme : « Il existe de tels algorithmes dits optimaux, c'est-à-dire qui compressent le fichier en un fichier d'entropie maximale (et donc de taille minimale). » Je suis dubitatifs. Quel algorithme ? Il me semble justement que c'est un problème indécidable...à éclaircir.

4. Sans vouloir dénigrer l'entropie de Shannon, affirmer que c'est « la pierre angulaire de la théorie de l'information » me paraît un peu exagéré. Pourquoi pas un plus modeste mais déjà laudateur « une notion fondamentale de la théorie de l'information »

Levochik (d) 12 mai 2008 à 12:45 (CEST)

j'ai essayé d'y remédier en réorganisant tout l'article...(sauf le 3 que j'ai laissé, dans le doute)Levochik (d) 12 mai 2008 à 13:21 (CEST)

Je me suis permis de corriger le point 3. Il est clair qu'une telle chose aurait fait du bruit et visiblement, on a aucune source ! Deadalnix (d) 19 août 2008 à 06:49 (CEST)

Pour le point 3, je fais chercher des references, mais l'encodage de Huffman est generalement denommee comme une methode entropique. Il me semble que cette methode est optimale du point de vue de l'entropie. Apres, la formulation etait maladroite. Par exemple, imaginons que tu encodes un fichier wav en huffman, ca ne veut pas dire que ton fichier deviendra comme par magie plus petit qu'un mp3. Il y a entre guillemets deux niveaux de compression : la facon dont tu ecris une serie de donnees sur le disque (ou la le codage de Huffman est il me semble optimal en terme d'entropie, a verifier) et la facon dont tu reduis la taille des donnees avant de les ecrire (par exemple pour le mp3, en supprimant les frequences inaudibles pour l'oreille humaine et en reduisant la bande passante). Bref tout ca pour dire que selon moi ce n'etait pas faux mais plutot pas clair. Oliv9053 (d) 19 août 2008 à 14:51 (CEST)

Refonte de l'article

La grande difficulté de ce genre d'article est de ne pas tomber dans un travers que citait une contributrice qui utilisait parfois les encyclopédies techniques : Souvent, l'article est incompréhensible pour le néophyte et triviale pour le spécialiste. Il n'aide finalement pas grand monde. Je propose deux idées pour bonifier l'article, même si le terme d'ébauche ne me semble plus adapté.

Je crois, dans le cas de cet article, qu'un préambule ne serait pas du luxe. Ce préambule devrait expliquer dans un premier temps pourquoi Shannon a découvert cette définition. Dans quelle mesure, cette définition m'aide à mieux coder un texte. Que vaut-il mieux, une petite ou une forte entropie. Des exemples seraient les bienvenus. Que se passe-t-il si je code un texte avec un code de répétition n fois ? Que m'apprend l'entropie. Si j'utilise un code parfait, comment évolue l'entropie ?

J'ai ajouté un préambule, lequel est à retravailler. --Guillaume Simard (d) 17 novembre 2008 à 04:51 (CET)

Enrichir les liens et les références est très pratiques. Par exemple, dans l'état actuel, préciser que La théorie de l'information : l'origine de l'entropie offre une petite introduction didactique peut beaucoup aider certains lecteurs. C'est aussi très pratique pour les relecteurs, il devient plus simple de comparer la version actuelle de WP avec ce que certains professionnels proposent pour l'instant.

L'article est beaucoup plus riche que précédemment et je pense qu'il est encore améliorable, surtout pour le néophyte un peu cultivé et malin. Jean-Luc W (d) 6 novembre 2008 à 11:26 (CET)

Relecture

Bravo, pour le travail. Je trouve en effet la version actuelle bien meilleure. Peut-on encore améliorer ? A mon avis oui !

• Préambule

Je pense que la première idée est celle de la qualité d'un code au sens où il exprime un message dans un volume minimal. Si le code consiste répéter deux fois chaque lettre, il est ainsi possible d'améliorer sa qualité d'un rapport 2. Si un code, consiste à transmettre un tirage de 8 boules rouges ou blanches prises dans une urne contenant 64 fois plus de boules blanches que rouges, faut-il en moyenne un message de 8 lettres choisies dans l'ensemble {0,1}? La réponse est non. En moyenne, il faut moins de deux lettres pour transmettre le message si le code est astucieux. L'entropie de Shannon permet de calculer simplement la qualité du code au sens précédent. Elle montre en particulier une limite que l'on ne peut dépasser.

La deuxième idée sont les exemples issus de la vie courante où cette situation se produit. Dans un texte en français, le e est plus fréquent que le w, c'est une des raisons qui fait que l'écriture n'est pas optimale au sens de l'entropie de Shannon. Il est ainsi possible de compresser le texte sans perte d'information. Une logique similaire s'applique sur les images et les sons. L'entropie de Shannon indique qu'elle limite est atteignable. Elle n'est pas dépassable, si l'on refuse toute dégradation du message à stocker.

La troisième idée est la transmission. Si le système n'est pas parfait, certaines lettres sont transmises de manière erronées. Il faut ajouter une redondance adéquate pour permette de corriger les erreurs avec un taux de probabilité satisfaisant. La meilleure qualité possible n'est alors pas le code le plus concis possible, mais un code contenant l'exacte quantité de redondance pour permettre une transmission avec la probabilité de succès choisie.

La quatrième idée est l'analogie avec l'entropie au sens statistique, qui est utilisée en physique au sens de Boltzmann. Si le code est binaire et optimal, le message est écrit avec autant de 0 que de 1, en moyenne. De même, les séquences 00, 01, 10 et 11 sont toutes équiprobables. L'entropie est maximale si le message, considérée comme une suite aléatoire, ne suit aucune règle spécifique, la suite doit être parfaitement aléatoire.

En bref, je pense que le long passage sur le numérique et l'analogique est maintenant un peu hors sujet. Comme la grande partie des messages sont codées en numérique, le contexte de Shannon est maintenant un peu obsolète. Je pense ensuite que le cas de la transmission n'est pas le seul et qu'il est un peu plus complexe à comprendre que celui de la compression, puisqu'il suppose l'existence d'une idée supplémentaire : le bruit. Enfin, beaucoup de lecteurs ont compressé des fichiers et comprennent intuitivement ce que cela signifie, le principe du code correcteur est peut-être un peu moins naturel.

• Exemples :

S'ils sont bien choisis, il me semble arriver un peu tard et manquer d'application numérique. Je commencerais immédiatement après le préambule.

Le problème de l'urne. Comment coder le résultat d'un tirage de 8 boules prises dans un sac contenant 64 fois plus de boules blanches que rouges? Une technique consiste à associer le blanc à 0 et le rouge à 1. Un exemple de tirage est 11111111, il est correspond à un tirage composé uniquement de boule rouge et il est improbable. Il est aussi possible d'utiliser le code suivant : on envoie 0 si toutes les boules sont blanches. Si une boule est rouge, on envoie sa position sur trois chiffres, ainsi 010 signifie la présence d'une unique boule rouge en position 4. Si deux boules sont rouges, on envoie leur position sur 2 fois trois chiffres, ainsi 100001 signifie une boule rouge en position 1 et 8. Enfin, si strictement plus de deux boules sont rouges, on utilise le code précédent, 11111101 signifie uniquement des boules rouges sauf en deuxième position. On trouve maintenant une longueur moyenne du message de 1,26.

Un texte en français. J'expliquerais un calcul simple d'entropie. Soit un texte de 10 000 lettres dont je ne sais rien, je ne peux pas faire grand chose pour le compresser, il existe en effet 26^{10 000} textes possibles et je ne sais pas lesquels sont les plus probables. Si en revanche on fournit l'information : c'est un texte en français, je sais alors que le e est beaucoup plus probable que le w, la même idée que celle de l'exemple précédent permet de compresser le texte sans perte d'information. L'entropie de Shannon n'est plus maximale. Une méthode simple de compression consiste à coder les 15 caractères les plus fréquents sur 4 bits, la configuration restante indique que les 8 bits suivants correspondent au codage classique sur 8 bits. Cette astuce permet d'économiser 30% du volume et s'inspire du codage de Huffman. La limite de Shannon est néanmoins loin d'être atteinte.

Une image : Si l'image est une photo, la probabilité d'avoir un pixel vert dans le voisinage d'un pixel vert est bien plus forte que celle d'avoir un pixel bleu. Une image bitmap d'une photo est donc loin de l'entropie maximale. Il est donc possible de compresser sans perte d'information.

• Partie mathématiques

Je préciserais les notations, H désigne bien l'entropie ? Quel est la signification du b en dessous ? Je sais bien que c'est la base du logarithme, mais j'imagine que les lecteurs peuvent être un peu désarçonnés. Je reprendrais l'exemple de l'urne pour calculer les entropie des deux codes présentés et montrerait (Oh miracle) que la deuxième est nettement plus grande que la première. Je montrerais aussi que l'on peut encore faire mieux (mais pas beaucoup). Le reste me semble remarquable.

Bonne continuation, après cela, je crains que mes qualités de cobayes ne s'épuisent et je risque de ne plus savoir comment bonifier l'article. Jean-Luc W (d) 19 novembre 2008 à 19:19 (CET)

Je trouve aussi que le passage sur l'analogique est hors-sujet, sans compter que dire que le passage au numérique réduit (supprime?) le bruit est assez dangereux. Refaire le théorème du codage de source de Shannon avec les mains ne me semble pas très heureux non plus. Il faut quand même se rappeler que cet article traite de l'entropie, pas de télécommunications. Pourquoi pas une petite introduction effectivement, mais là, on rentre beaucoup trop dans les détails. A reprendre (voir l'article anglais pour une introduction claire et concise). Sylenius (d) 19 novembre 2008 à 21:57 (CET)

Sylenius et moi semblons d'accord. Le cas continu (analogique) est finalement beaucoup plus complexe que celui fini (numérique). Si, à l'époque de Shannon, cette question était centrale, il me semble que maintenant on peut en grande partie laisser de coté le cas continu, choix suivi dans la partie mathématique mais pas dans le préambule. L'article anglais est en effet remarquable à bien des égards, mais le travail de Guillaume l'est aussi. En français, il devient le petit texte le plus accessible disponible sur le Web, il reçoit aussi un nombre de visites remarquablement élevé. Il est moins exhaustif, mais permet de mieux comprendre les bases. Personnellement je parlerais aussi de la deuxième difficulté que j'ai eu. Pourquoi diable considérer un message comme une variable aléatoire ? L'exemple de l'urne met bien en évidence la raison, je pense qu'il mérite d'être sérieusement développé. Jean-Luc W (d) 20 novembre 2008 à 08:54 (CET)

Le préambule est en effet à revoir. Outre ce qui est dit ci-dessus, il contient des inexactitudes. Il dit en effet que le moindre bruit perturbe le signal analogique, ce qui n'est pas le cas du signal numérique. Mais c'est oublier que le signal numérique procède à un arrondi du signal correspondant analogique, arrondi suffisamment faible pour ne pas pouvoir être détecté par l'utilisateur. Il va de soi que si un bruit perturbe un signal analogique de façon aussi faible, l'utilisateur ne sera pas davantage gêné. Il convient donc de supprimer l'opposition analogique/numérique et de réduire ce préambule, qui est trop long.Theon (d) 30 septembre 2012 à 12:15 (CEST)

Locatelli-Mabon

Ceci (réverté aujourd'hui) était-il un simple canular, ou une piste pour un complément d'histoire ? Anne Bauval (d) 29 mars 2011 à 21:27 (CEST)

Je ne connais pas mais une Inégalité de Locatelli-Mabon est mentionnée dans ce pdf (<-- attention lourd à charger) p. 51. --Epsilon0 ε₀ 24 septembre 2011 à 19:09 (CEST)

Sens du n dans la définition formelle

Dans la définition formelle de l'entropie, il y a des sommes pour i de 1 à n. Quel est ce n ? N'est-ce pas plutôt b, le nombre de symboles ? Wetneb (d) 24 septembre 2011 à 18:38 (CEST)

Je crois que l'auteur de cette partie a voulu dire "b" lorsqu'il parlait des "n" symboles : on se situe bien en base "n". --Mael65 (discuter) 12 novembre 2015 à 14:24 (CET)

n est le nombre de valeurs possibles prises par X. Ca n'a pas de rapport avec le choix de la base b. D'ailleurs, on prend rapidement b=2 alors que X prend plus de deux valeurs. Theon (discuter) 13 novembre 2015 à 11:32 (CET)

Exemples

Exemple de l'urne

Il faudrait je pense bien expliquer comment on choisit les valeurs associées à chaque couleur, la note ne suffit pas : si tout ce qui nous intéresse c'est qu'il soit impossible de se tromper en déchiffrant le message, pourquoi est-ce qu'on ne réutilise pas le code 00/01/10/11 dans le deuxième cas, ou 0/10/110/111 dans le premier ? Si j'ai bien compris, c'est parce qu'on cherche le codage non ambigu qui entraine le H le plus petit. Utiliser 0/10/110/111 dans le premier cas donne H=2,5 bits, et 00/01/10/11 dans le second H=2 bits. Est-ce cela ?

Excellent article, sinon ! Comme dit plus haut, il est vraiment super pour comprendre le principe de l'entropie de Shannon. Je suis pas à proprement parler un néophyte, j'ai quelques bases, mais tout de même je suis bien content que cet article existe !

Cheers, Thouny (discuter) 24 janvier 2014 à 00:54 (CET)

Bonjour, La première phrase est à revoir ; il est incorrect de dire que l'entropie "correspond à la quantité d'information". Si j'envoie un message de longueur quelconque, fait avec des caractères quelconques, vous seriez bien en peine de définir la quantité d'information qu'il contient. L'entropie se définit par référence à la loi d'une variable aléatoire et il faut bien définir (ce qui n'est pas fait correctement) ce que l'on envoie et ce que sait par avance le récepteur. Merci Bernard Beauzamy 83.202.6.121 (discuter) 10 août 2014 à 17:41 (CEST) --83.202.6.121 (discuter) 10 août 2014 à 17:41 (CEST)

Oui, mais cette première phrase ajoute l'adverbe intuitivement ce qui signifie bien qu'elle se borne à donner une motivation à l'introduction de cette notion. La définition formelle apparaît un peu plus bas dans l'article. (À part ça, si vous êtes le Beauzamy qui donna des cours à Jussieu sur les Banach en DEA en 1977 ou à peu près, je me permets de vous saluer, ayant été un de vos étudiants. Je prie les autres wikipédiens d'excuser ce message personnel).Theon (discuter) 10 août 2014 à 19:41 (CEST)

Justifier les formules conjointes et conditionnelles

(C'est ma première contribution sur Wikipédia, ne me tapez pas!) Bonjour,

J'ai lu cet article et je l'ai trouvé très bon mais, pour un novice (comme moi), ce serait super d'avoir une explication détaillée de ce qu'est l'entropie conjointe et conditionnelle; certes la formule est assez explicite mais l'avoir en toutes lettres me parait encore mieux. Quand je parle d'explication, je l'entends à la manière de la description de la première formule.

Cordialement,

Lolobosse (discuter) 4 mai 2015 à 23:24 (CEST)

Justification de la Formule

La formule utilise un élément log(Pi), (Pi=une probabilité) tandis que la justification de la formule log(N), la totalité des valeurs que peut prendre la variable. Comment expliquer cela ? --86.68.188.137 (discuter) 17 octobre 2017 à 20:40 (CEST)

Puisque Pi = Ni/N, on a log(Pi) = log(Ni)-log(N). La justification sur log(N) permet d'en déduire la formule sur log(Pi) (c'est le donc H(X) =... dans l'article). Theon (discuter) 18 octobre 2017 à 10:12 (CEST)

Sans vouloir ergoter, cela introduit une "entropie" dans l'équation. L'article anglophone n'utilise pas cette réécriture, dans l'exemple qu'il prend (la pièce de monnaie). C'est seulement parce que log(N) = -log(1/N) que ça marche non ? au signe près --86.68.188.28 (discuter) 18 octobre 2017 à 12:16 (CEST)

Application de l'inégalité de Gibbs

L'inégalité de Gibbs est démontrée pour un logarithme népérien (qui a bien la propriété d'être en dessous de y=x-1) puis reprise pour justifier la formule H(X)<= log2(n)... Alors que le logarithme en base 2 en au dessus de y=x-1 quand x est compris entre 1 et 2 (ce qui peut arriver pour certaines valeurs pi/qi).

La version anglophone utilise l'inégalité de Jensen: It can be confirmed using the Jensen inequality and then Sedrakyan's inequality that

{\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log _{b}p(X)]\leq -\log _{b}\left(\mathbb {E} [p(X)]\right)\leq \log _{b}n}{\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log _{b}p(X)]\leq -\log _{b}\left(\mathbb {E} [p(X)]\right)\leq \log _{b}n}.[10]: 29  Arnaud.wikilike (discuter) 5 novembre 2022 à 19:29 (CET)

Correction effectuée. Theon (discuter) 6 novembre 2022 à 14:45 (CET)

Petite ambiguïté

on dispose d'un nombre N de symboles de la forme $N=2^n$... Cette phrase n'est pas correcte du point de vue du français. On pourrait croire un instant que ce sont les symboles qui sont de la forme $2^n$! Je préférerais : on dispose d'un nombre N de symboles avec $N=2^n$.. Thorailler (discuter) 23 décembre 2023 à 23:00 (CET)

Corrigé. Theon (discuter) 24 décembre 2023 à 10:33 (CET)