Inégalité de Cramer-Rao
L'inégalité de Cramer-Rao est une inégalité portant sur la variance des estimateurs en statistique. On considère donc une famille de variables aléatoires $(X_\theta)_{\theta\in I}$ dépendant d'un paramètre $\theta$ qui peut parcourir un intervalle $I$ (penser par exemple à une loi de Poisson, etc...). Soit $\varphi:\mathbb R\to\mathbb R$ telle que, pour tout $\theta$, la variable aléatoire $\varphi(X_\theta)$ admet une espérance $\mathbb E(\varphi(X_\theta))$ et une variance $V(\varphi(X_\theta))$. Alors, sous certaines conditions de régularité, on a $$V(\varphi(X_\theta))\geq \frac{\left (\frac{\partial }{\partial \theta}(\mathbb E(\varphi(X_\theta)))\right)^2}{F_X(\theta)}$$ où $F_X(\theta)$ est l'information de Fisher de $X$ définie par $$F_X(\theta)=V\left(\frac{\partial }{\partial \theta} \ln(L(\theta;X))\right)$$ où $L(\theta;x)$ est la fonction de vraisemblance, définie par
- $L(\theta;x)=f_{\theta}(x)$ si $X_\theta$ a pour densité $f_\theta$
- $L(\theta;x)=P(X_\theta=x)$ si $X_\theta$ est une variable aléatoire discrète.
Le plus souvent, cette inégalité est utilisée de façon itérée : on considère $Y_1,\dots,Y_n$ $n$ copies indépendantes de $X_\theta$ et on considère un estimateur $T=\psi(Y_1,\dots,Y_n)$. Alors on a $$V(T)\geq \frac{\left (\frac{\partial }{\partial \theta}(\mathbb E(T))\right)^2}{nF_X(\theta)}.$$ En particulier, pour un estimateur sans biais $T$, on a une borne inférieure de la variance donnée par $$V(T)\geq\frac{1}{nI_X(\theta)}.$$
Le nom de Cramer de cette inégalité fait référence au statisticien suédois du XXè siècle Harald Cramer,
et non au mathématicien suisse Gabriel Cramer à qui on doit par exemple la règle de Cramer pour calculer le déterminant
d'une matrice $3\times 3.$