Erreur quadratique moyenne

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

En statistiques, l’erreur quadratique moyenne (ou plus souvent l’erreur quadratique, moyenne étant sous-entendu), appelée aussi risque quadratique[1], pour un paramètre \theta de dimension 1, que nous noterons MSE (pour Mean Squared Error), est définie par:

Définition — \operatorname{MSE}(\hat{\theta}|\theta)\equiv\mathbb{E}\left((\hat{\theta}-\theta)^2\right).

avec \hat{\theta} l’estimateur du paramètre \theta.

Utilité[modifier | modifier le code]

Comparaison d'estimateurs[modifier | modifier le code]

L'erreur quadratique moyenne est très utile pour comparer plusieurs estimateurs, notamment lorsque l'un d'eux est biaisé. Si les deux estimateurs à comparer sont sans biais, l'estimateur le plus efficace est simplement celui qui a la variance la plus petite. On peut effectivement exprimer l'erreur quadratique moyenne en fonction du biais de l'estimateur \mathbb{E}(\hat{\theta} - \theta) ainsi que sa variance:

Théorème — \operatorname{MSE}(\hat{\theta}|\theta)=\operatorname{Biais}(\hat{\theta})^2 + \operatorname{Var} (\hat{\theta})

En faisant intervenir le biais et la variance, l'erreur quadratique moyenne permet donc de trancher dans une situation où il existe un estimateur sans biais et un autre biaisé mais de variance plus petite.

Exemple  :

Comparons les deux estimateurs de la variance:

s_n^2 \equiv \frac 1n \sum_{i=1}^n \left(y_i - \overline{y} \right)^ 2\text{ et } s^2_{n-1} \equiv \frac{1}{n-1} \sum_{i=1}^n\left(y_i - \overline{y} \right)^ 2

Pour une distribution gaussienne, des calculs montrent que (voir Greene 2005, p. 861):

 \operatorname{E}[s_{n-1}^2]=\sigma^2
 \operatorname{Var}[s_{n-1}^2]=\frac{2\sigma^4}{n-1}
 \operatorname{E}[s_n^2]=\frac{(n-1)\sigma^2}{n}
 \operatorname{Var}[s_{n}^2]=\left[\frac{n-1}{n}\right]^2\left[\frac{2\sigma^4}{n-1}\right]

L'estimateur s^2_{n-1} est sans biais mais a une plus forte variance que l'estimateur s^2_{n}.

La comparaison des erreurs quadratiques moyennes (MSE) donne:

\operatorname{MSE}(s^2_{n}|\sigma^2)-\operatorname{MSE}(s^2_{n-1}|\sigma^2)=\sigma^4\left[\frac{2n-1}{n^2}-\frac{2}{n-1}\right]<0

Et l'estimateur biaisé s^2_{n} est donc plus précis en termes d'erreur quadratique moyenne. L'estimateur s_{n+1}^2, où on divise par n+1, est (encore pour le cas gaussien) le meilleur de tous en termes d'erreur quadratique moyenne, cette dernière valant alors \frac{2\sigma^4}{n+1}.

Convergence de l'estimateur[modifier | modifier le code]

Il est possible de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet:

Théorème — \left\{\lim_{n \to \infty} \operatorname{E}[\hat\theta] =\theta \quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[\hat\theta]= 0 \right\} \Leftrightarrow \lim_{n \to \infty}\operatorname{MSE}(\hat\theta|\theta) =0 \Rightarrow \hat\theta \xrightarrow{p} \theta

La démonstration est faite à la page convergence de variables aléatoires.

Généralisation[modifier | modifier le code]

Dans un cadre plus général pour un modèle multiparamétrique où l'on cherche à estimer plusieurs paramètres ou pour estimer une fonction f(\theta) de un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur \delta de f(\theta) est défini par:

Définition — \mathbb{E}( ^t(\delta-f(\theta)) A (\delta-f(\theta))


où A est une matrice symétrique définie positive (qui définit donc un produit scalaire).

Références[modifier | modifier le code]

(en) William H Greene, Econométrie, Paris, Pearson Education,‎ 2005, 5e éd. (ISBN 978-2-7440-7097-6), p. 2

Voir aussi[modifier | modifier le code]