Forum de mathématiques - Bibm@th.net
Vous n'êtes pas identifié(e).
- Contributions : Récentes | Sans réponse
Pages : 1
#1 30-11-2005 21:03:56
- Fred
- Invité
Entropie
Bonjour,
J'ai trouvé sur ce site la phrase suivante : "Il est facile de voir que parmi les variables à n valeurs, l'entropie H(X) est maximale lorsque X est équirépartie : une variable aléatoire apporte en moyenne un maximum d'informations lorsqu'elle peut prendre chaque valeur avec une égale probabilité". (http://www.bibmath.net/dico/index.php3? … ropie.html)
par intuition, ce resultat me semble trivial, mais j'aimerais savoir comment il est possible de démontrer que l'entropie d'une variable aléatoire est maximale quand la v.a est equirepartie.
Merci
#2 01-12-2005 06:43:32
- Fred
- Administrateur
- Inscription : 26-09-2005
- Messages : 7 035
Re : Entropie
Par concavité du log, on doit avoir, en notant p_i=P({a_i})
[tex] p_1\log(p_1)+...+p_n\log(p_n)\leq \log(p_1^2+... +p_n^2) [/tex]
On étudie ensuite la maximum de [tex] \log(p_1^2+...+ p_n^2) [/tex]
sous la condition [tex] p_1+...+p_n=1[/tex].
Ca peut se dire à coup d'extrema liés et de multiplicateurs de Lagrange, et on trouve
bien la condition p_i=1/n pour tout i.
Je ne sais pas s'il y a plus simple... (si personne ne propose mieux, je vais changer la phrase "il est facile de voir..." en "On peut voir que....").
Hors ligne
Pages : 1