Forum de mathématiques - Bibm@th.net
Vous n'êtes pas identifié(e).
- Contributions : Récentes | Sans réponse
- Accueil
- » Entraide (supérieur)
- » Entropie
- » Répondre
Répondre
Résumé de la discussion (messages les plus récents en premier)
- Fred
- 01-12-2005 07:43:32
Par concavité du log, on doit avoir, en notant p_i=P({a_i})
[tex] p_1\log(p_1)+...+p_n\log(p_n)\leq \log(p_1^2+... +p_n^2) [/tex]
On étudie ensuite la maximum de [tex] \log(p_1^2+...+ p_n^2) [/tex]
sous la condition [tex] p_1+...+p_n=1[/tex].
Ca peut se dire à coup d'extrema liés et de multiplicateurs de Lagrange, et on trouve
bien la condition p_i=1/n pour tout i.
Je ne sais pas s'il y a plus simple... (si personne ne propose mieux, je vais changer la phrase "il est facile de voir..." en "On peut voir que....").
- Fred
- 30-11-2005 22:03:56
Bonjour,
J'ai trouvé sur ce site la phrase suivante : "Il est facile de voir que parmi les variables à n valeurs, l'entropie H(X) est maximale lorsque X est équirépartie : une variable aléatoire apporte en moyenne un maximum d'informations lorsqu'elle peut prendre chaque valeur avec une égale probabilité". (http://www.bibmath.net/dico/index.php3? … ropie.html)
par intuition, ce resultat me semble trivial, mais j'aimerais savoir comment il est possible de démontrer que l'entropie d'une variable aléatoire est maximale quand la v.a est equirepartie.
Merci