$$\newcommand{\mtn}{\mathbb{N}}\newcommand{\mtns}{\mathbb{N}^*}\newcommand{\mtz}{\mathbb{Z}}\newcommand{\mtr}{\mathbb{R}}\newcommand{\mtk}{\mathbb{K}}\newcommand{\mtq}{\mathbb{Q}}\newcommand{\mtc}{\mathbb{C}}\newcommand{\mch}{\mathcal{H}}\newcommand{\mcp}{\mathcal{P}}\newcommand{\mcb}{\mathcal{B}}\newcommand{\mcl}{\mathcal{L}} \newcommand{\mcm}{\mathcal{M}}\newcommand{\mcc}{\mathcal{C}} \newcommand{\mcmn}{\mathcal{M}}\newcommand{\mcmnr}{\mathcal{M}_n(\mtr)} \newcommand{\mcmnk}{\mathcal{M}_n(\mtk)}\newcommand{\mcsn}{\mathcal{S}_n} \newcommand{\mcs}{\mathcal{S}}\newcommand{\mcd}{\mathcal{D}} \newcommand{\mcsns}{\mathcal{S}_n^{++}}\newcommand{\glnk}{GL_n(\mtk)} \newcommand{\mnr}{\mathcal{M}_n(\mtr)}\DeclareMathOperator{\ch}{ch} \DeclareMathOperator{\sh}{sh}\DeclareMathOperator{\th}{th} \DeclareMathOperator{\vect}{vect}\DeclareMathOperator{\card}{card} \DeclareMathOperator{\comat}{comat}\DeclareMathOperator{\imv}{Im} \DeclareMathOperator{\rang}{rg}\DeclareMathOperator{\Fr}{Fr} \DeclareMathOperator{\diam}{diam}\DeclareMathOperator{\supp}{supp} \newcommand{\veps}{\varepsilon}\newcommand{\mcu}{\mathcal{U}} \newcommand{\mcun}{\mcu_n}\newcommand{\dis}{\displaystyle} \newcommand{\croouv}{[\![}\newcommand{\crofer}{]\!]} \newcommand{\rab}{\mathcal{R}(a,b)}\newcommand{\pss}[2]{\langle #1,#2\rangle} $$
Bibm@th

Estimation

  Le travail du statisticien consiste, à partir d'observations, à reconstituer le modèle probabiliste d'une situation aléatoire. La première étape est de diagnostiquer le type de loi étudiée : loi de Poisson, loi normale,... Cette première étape se fait normalement sans trop de difficultés car chaque loi a son champ d'application spécifique. Par exemple, la loi de Poisson s'applique à des problèmes de temps d'attente,...

  Ensuite, il faut estimer les divers paramètres attachés à cette loi. Soi a un tel paramètre, et soient X1,...,Xn n variables aléatoires indépendantes suivant la loi modèle. On appelle estimateur de a une variable aléatoire Yn fonction des X1,...,Xn :
Yn=y(X1,...,Xn)
Si on a observé expérimentalement les valeurs x1,...,xn, l'estimateur Yn fournira une estimation yn de a donnée par
yn=y(x1,...,xn)
Bien sûr, la définition précédente ne garantit pas du tout que Yn donne une estimation correcte de a. On définit alors un estimateur convergent comme un "bon" estimateur de a.

Définition : (Yn) est un estimateur convergent s'il converge en probabilité vers a, c'est-à-dire si :

Dans la pratique, l'inégalité de Bienaymé-Tchebychev fait qu'il suffit de vérifier que E(Yn) tende vers a et que V(Yn) tende vers 0.
On a encore les définitions suivantes :
  • un estimateur est dit sans biais si E(Yn)=a pour tout n. Il est asymptotiquement sans biais si E(Yn) tend vers a.
  • un estimateur sans biais Yn est meilleur qu'un estimateur sans biais Zn si V(Yn)<V(Zn) (le fait d'être meilleur se matérialise dans l'inégalité de Bienaymé-Tchebychev).
  • un estimateur de a est efficace s'il est sans biais et s'il est de variance minimale parmi les estimateur sans biais de a.

Ex1: estimation d'une espérance
  Un phénomène suit une loi de probabilité d'espérance m et on dispose des observations x1,...,xn. On estime m par la "moyenne empirique"
C'est un estimateur sans biais, convergent et efficace si la loi à estimer est une loi normale.

Ex2: estimation d'une variance
  Un phénomène suit une loi de probabilité d'espérance m et de variance s2. On estime m par la moyenne empirique comme ci-dessus. On estime ensuite s2 par l'écart quadratique moyen
Cet estimateur est convergent, mais (légèrement) biaisé car on a E(V(n))=(n-1)s2/n. On le débiaise en considérant
C'est un estimateur efficace pour la loi normale.