Bibm@th

Forum de mathématiques - Bibm@th.net

Bienvenue dans les forums du site BibM@th, des forums où on dit Bonjour (Bonsoir), Merci, S'il vous plaît...

Vous n'êtes pas identifié(e).

#1 30-11-2005 20:03:56

Fred
Invité

Entropie

Bonjour,

J'ai trouvé sur ce site la phrase suivante : "Il est facile de voir que parmi les variables à n valeurs, l'entropie H(X) est maximale lorsque X est équirépartie : une variable aléatoire apporte en moyenne un maximum d'informations lorsqu'elle peut prendre chaque valeur avec une égale probabilité". (http://www.bibmath.net/dico/index.php3? … ropie.html)

par intuition, ce resultat me semble trivial, mais j'aimerais savoir comment il est possible de démontrer que l'entropie d'une variable aléatoire est maximale quand la v.a est equirepartie.

Merci

#2 01-12-2005 05:43:32

Fred
Administrateur
Inscription : 26-09-2005
Messages : 4 701

Re : Entropie

Par concavité du log, on doit avoir, en notant p_i=P({a_i})

[tex] p_1\log(p_1)+...+p_n\log(p_n)\leq \log(p_1^2+... +p_n^2) [/tex]

On étudie ensuite la maximum de [tex] \log(p_1^2+...+ p_n^2) [/tex]
sous la condition [tex] p_1+...+p_n=1[/tex].

Ca peut se dire à coup d'extrema liés et de multiplicateurs de Lagrange, et on trouve
bien la condition p_i=1/n pour tout i.

Je ne sais pas s'il y a plus simple... (si personne ne propose mieux, je vais changer la phrase "il est facile de voir..." en "On peut voir que....").

Hors ligne

Réponse rapide

Veuillez composer votre message et l'envoyer
Nom (obligatoire)

E-mail (obligatoire)

Message (obligatoire)

Programme anti-spam : Afin de lutter contre le spam, nous vous demandons de bien vouloir répondre à la question suivante. Après inscription sur le site, vous n'aurez plus à répondre à ces questions.

Quel est le résultat de cette opération? 3*3=

Pied de page des forums