Distance de Cook

En statistique, la distance de Cook est couramment utilisée pour estimer l'influence d'une donnée lors de l'utilisation de méthodes des moindres carrés.

Dans le cas général, de l'utilisation de la méthode des moindres carrés, la distance de Cook peut être utilisée de plusieurs façons : pour indiquer les données qu'il serait intéressant de vérifier; pour indiquer les régions de l'espace de conception où il serait bon d'être en mesure d'obtenir plus de points de données. Ce nom vient du statisticien américain R. Dennis Cook, qui a introduit le concept en 1977.

Définition

La distance de Cook mesure l'effet de la suppression d'une donnée. Les données avec d'importants résidus (Données aberrantes) et/ou fort effet de levier peuvent fausser le résultat et la précision d'une régression. Les points ayant une distance de Cook importante sont considérés comme méritant un examen plus approfondi dans l'analyse. Pour l'expression algébrique, il faut définir d'abord :

$\mathbf {H} \equiv \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }$

comme une matrice de projection $(n\times n)$ (matrice de projection des $n$ observations de chaque variable explicative). Ensuite, nous avons ${\hat {\beta }}^{(-i)}$, qui est l'estimation MCO de $\beta$ qui résulte de l'omission de la $i$-ème observation ($i=1,2,\dots ,n$). Ensuite, nous avons :

${\hat {\beta }}-{\hat {\beta }}^{(-i)}=\left({\frac {1}{1-h_{i}}}\right)(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {x_{i}} \cdot e_{i}$

où $e_{i}\,$ est le résidu (i.e. la différence entre la valeur observée et la valeur prédite par le modèle proposé) pour l'individu $i$, et $h_{ii}\,$, défini comme :

$h_{ii}\equiv \mathbf {x} _{i}^{\top }(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {x} _{i}$

est l'influence, i.e., le $i$-ème élément de la diagonale de $\mathbf {H} \,$. Avec cela, nous pouvons définir la distance de Cook comme :

$D_{i}={\frac {e_{i}^{2}}{k\ \mathrm {MSE} }}\left[{\frac {h_{ii}}{(1-h_{ii})^{2}}}\right],$

où $k$ est le nombre de paramètres ajustés, et $\mathrm {MSE} \,$ est l'erreur quadratique moyenne du modèle de régression. L'expression suivante est algébriquement équivalente :

$D_{i}={\frac {({\hat {\beta }}-{\hat {\beta }}^{(-i)})^{\top }\mathbf {X} ^{\top }\mathbf {X} ({\hat {\beta }}-{\hat {\beta }}^{(-i)})}{(1+k)s^{2}}},$

où  $s^{2}$ est l'estimateur MCO de la variance du terme d'erreur, défini comme :

$s^{2}\equiv {\frac {\mathbf {e} ^{\top }\mathbf {e} }{n-k}}$

Et une troisième expression équivalente est :

$D_{i}={\frac {\sum _{j=1}^{n}({\hat {Y}}_{j}\ -{\hat {Y}}_{j(i)})^{2}}{k\ \mathrm {MSE} }},$

où :

${\hat {Y}}_{j}\,$  est la prédiction du modèle de régression complète pour l'observation j ;

${\hat {Y}}_{j(i)}\,$ est la prédiction pour l'observation j à partir d'un modèle de régression ajustée dans lequel l'observation i a été omise.

Détection des observations très influentes

Il y a des opinions différentes au sujet de quel seuil les valeurs à utiliser pour repérer des points sont très influents. Une directive opérationnelle simple de $D_{i}>1$ a été suggérée. D'autres ont indiqué que $D_{i}>4/n$, où $n$ i est le nombre d'observations, pourrait être utilisé.

Une approche conservatrice repose sur le fait que la distance de Cook a la forme W/p, où W est formellement identique au test de Wald que l'on utilise pour les tests que $H_{0}:\beta _{i}=\beta _{0}$ en utilisant certaines ${\hat {\beta }}_{[-i]}$. Rappelant que W/p a une distribution $F_{p,n-p}$  (avec p et n-p degrés de liberté), nous voyons que la distance de Cook est équivalent à la statistique F pour tester cette hypothèse, et nous pouvons donc utiliser$F_{p,n-p,1-\alpha }$ comme un seuil.

Notes et références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Cook's distance » (voir la liste des auteurs).

Voir aussi

Bibliographie

• Anthony Atkinson, Marco Riani, Deletion Diagnostics, Robust Diagnostics and Regression Analysis, New York, Springer, 2010, p. 22–25. (ISBN 0-387-95017-6).
• Richard M. Heiberger, Burt Holland, Case Statistics, Statistical Analysis and Data Display, Springer Science & Business Media, 2013, p. 312–27. (ISBN 9781475742848).
• William S. Krasker, Edwin Kuh, Roy E. Welsch, Estimation for dirty data and flawed models, Handbook of Econometrics n^o 1, Elsevier, 1983, p. 651–698. doi:10.1016/S1573-4412(83)01015-6.
• Herman Aguinis, Ryan K. Gottfredson, Harry Joo, Best-Practice Recommendations for Defining Identifying and Handling Outliers [PDF], Organizational Research Methods n^o 16 (2), 2013, p. 270–301 (doi:10.1177/1094428112470848)

Articles connexes

• Donnée aberrante
• Régression linéaire