Erreur quadratique moyenne

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

En statistiques, l’erreur quadratique moyenne d’un estimateur d’un paramètre de dimension 1 est une mesure caractérisant la « précision » de cet estimateur. Elle est plus souvent appelée « erreur quadratique », « moyenne » étant sous-entendu) ; elle est parfois appelée aussi « risque quadratique »[1]. Nous la noterons (pour Mean Squared Error).

L’erreur quadratique moyenne est définie par :

Définition — 

Propriétés[modifier | modifier le code]

Expression[modifier | modifier le code]

On peut exprimer l’erreur quadratique moyenne en fonction du biais et de la variance de l’estimateur :

Théorème — 

Signe[modifier | modifier le code]

Corollaire — La variance étant toujours positive ou nulle, .

Minimisation[modifier | modifier le code]

Théorème — Soit un estimateur sans biais du paramètre , tel que (si l’erreur quadratique moyenne est nulle, elle est déjà minimale, voir section « Signe » ci-dessus).

Parmi tous les estimateurs proportionnels à , l’erreur quadratique moyenne est minimale pour l’estimateur .

Cette erreur quadratique moyenne minimale vaut .

Remarque : la valeur de étant inconnue par nature (sinon, on n’en chercherait pas un estimateur), cette formule n’a d’intérêt pratique que si le coefficient se simplifie en une constante indépendante de , c’est-à-dire si et seulement si est proportionnel à (voir exemple plus bas).

Utilité[modifier | modifier le code]

Comparaison d’estimateurs[modifier | modifier le code]

Si les deux estimateurs à comparer sont sans biais, l’estimateur le plus efficace est simplement celui dont la variance est la plus petite. De même, si un estimateur a à la fois un plus grand biais (en valeur absolue) et une plus grande variance qu’un autre estimateur, ce dernier est évidemment meilleur.

Cependant, si un estimateur a un plus grand biais (en valeur absolue) mais une plus petite variance, la comparaison n’est plus immédiate : l’erreur quadratique moyenne permet alors de trancher.

Exemple :

Comparons les deux estimateurs les plus courants de la variance :

et

Pour un tirage avec remise et une loi de probabilité dont on suppose que le kurtosis normalisé est nul[note 1] (comme par exemple la loi normale), les calculs montrent que (voir Greene, section C.5.1) :

d’où ,
d’où  ;
d’où ,
d’où .

L’estimateur est sans biais mais a une plus grande variance (plus faible efficacité) que l’estimateur .

La comparaison des erreurs quadratiques moyennes donne :

L’estimateur biaisé est donc meilleur en terme d’erreur quadratique moyenne.

Toujours dans le cas d’un tirage avec remise et d’un kurtosis nul, en appliquant le théorème de minimisation donné plus haut à l’estimateur sans biais , on trouve que l’estimateur est l’estimateur minimisant l’erreur quadratique moyenne, cette dernière valant alors .

Convergence de l'estimateur[modifier | modifier le code]

Il est possible de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet:

Théorème — 

La démonstration est faite à la page convergence de variables aléatoires.

Généralisation[modifier | modifier le code]

Dans un cadre plus général pour un modèle multiparamétrique où l'on cherche à estimer plusieurs paramètres ou pour estimer une fonction de un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur de est défini par:

Définition — 

où A est une matrice symétrique définie positive (qui définit donc un produit scalaire).

Voir aussi[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

(en) William H Greene, Econométrie, Paris, Pearson Education, , 5e éd. (ISBN 978-2-7440-7097-6), p. 2

Articles connexes[modifier | modifier le code]

Notes et références[modifier | modifier le code]

Notes[modifier | modifier le code]

  1. Plus généralement, toujours pour un tirage avec remise, on a : .

Références[modifier | modifier le code]