Estimation
Le travail du statisticien consiste, à partir d'observations, à reconstituer le modèle probabiliste d'une situation aléatoire. La première étape est de diagnostiquer le type de loi étudiée : loi de Poisson, loi normale,... Cette première étape se fait normalement sans trop de difficultés car chaque loi a son champ d'application spécifique. Par exemple, la loi de Poisson s'applique à des problèmes de temps d'attente,...
Ensuite, il faut estimer les divers paramètres attachés à cette loi. Soit $a$ un tel paramètre, et soit $X_1,\dots,X_n$ $n$ variables aléatoires indépendantes suivant la loi modèle. On appelle estimateur de $a$ une variable aléatoire $Y_n$ fonction des $X_1,\dots,X_n$ : $$Y_n=y(X_1,\dots,X_n).$$ Si on a observé expérimentalement les valeurs $X_1,\dots,X_n$, l'estimateur $Y_n$ fournira une estimation $y_n$ de $a$ donnée par $$y_n=y(X_1,\dots,X_n).$$ Bien sûr, la définition précédente ne garantit pas du tout que $Y_n$ donne une estimation correcte de $a.$ On définit alors un estimateur convergent comme un "bon" estimateur de $a.$
On dit que $(Y_n)$ est un estimateur convergent s'il converge en probabilité vers $a,$ c'est-à-dire si $$\forall \varepsilon>0,\ P(|Y_n-a|>\veps)\xrightarrow{n\to+\infty}0.$$ Dans la pratique, l'inégalité de Bienaymé-Tchebychev fait qu'il suffit de vérifier que $E(Y_n)$ tende vers $a$ et que $V(Y_n)$ tende vers $0.$
On a encore les définitions suivantes :
- le biais de l'estimateur $Y_n$ est $E(Y_n)-a$. L'estimateur $Y_n$ est dit sans biais si $E(Y_n)=a.$ Une suite d'estimateurs $(Y_n)$ est dite asymptotiquement sans biais si $E(Y_n)$ tend vers $a.$
- un estimateur sans biais $Y_n$ est meilleur qu'un estimateur sans biais $Z_n$ si $V(Y_n)\leq V(Z_n)$ pour tout entier $n$ (le fait d'être meilleur se matérialise dans l'inégalité de Bienaymé-Tchebychev).
- un estimateur de $a$ est efficace s'il est sans biais et s'il est de variance minimale parmi les estimateur sans biais de $a.$
Exemple 1 : estimation d'une espérance
Un phénomène suit une loi de probabilité d'espérance $m$ et on dispose des observations $X_1,\dots,X_n$. On estime $m$ par la "moyenne empirique" $$\overline x=\frac{x_1+\cdots+x_n}n.$$ C'est un estimateur sans biais, convergent et efficace si la loi à estimer est une loi normale.
Exemple 2 : estimation d'une variance
Un phénomène suit une loi de probabilité d'espérance $m$ et de variance $\sigma^2.$ On estime $m$ par la moyenne empirique comme ci-dessus. On estime ensuite $\sigma^2$ par l'écart quadratique moyen $$V_{(n)}=\frac{(x_1-\bar x)^2+\cdots+(x_n-\bar x)^2}{n}.$$ Cet estimateur est convergent, mais (légèrement) biaisé car on a $E(V_{(n)})=(n-1)\sigma^2/n.$ On le débiaise en considérant $$V_{(n-1)}=\frac{(x_1-\bar x)^2+\cdots+(x_n-\bar x)^2}{n-1}.$$ Ce dernier estimateur est un estimateur efficace pour la loi normale.