Statistique exhaustive

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

Les statistiques exhaustives sont liées à la notion d'information et en particulier à l'information de Fisher elles servent entre autres à améliorer des estimateurs grâce à l'usage du théorème de Rao-Blackwell et du théorème de Lehman-Scheffé.

Intuitivement, parler d'une statistique exhaustive revient à dire que cette statistique contient l'ensemble de l'information sur le(s) paramètre(s) de la loi de probabilité.

Définition[modifier | modifier le code]

Soit X un vecteur d'observation de taille n avec les X_i indépendantes et identiquement distribués (iid). Soit \theta un paramètre influant sur la loi de probabilité à laquelle sont soumis les X_i. Une statistique S(X) est dite exhaustive (pour le paramètre \theta) si la probabilité conditionnelle d'observer X sachant S(X) est indépendante de \theta. Cela peut se traduire par la formule suivante :

\mathbb{P}(X=x|S(X)=s,\theta) = \mathbb{P}(X=x|S(X)=s), \,

En pratique l'on se sert peu de cette formule pour montrer qu'une statistique est exhaustive et l'on préfère en règle générale utiliser le critère suivant appelé critère de factorisation (parfois aussi appelé critère de Fisher-Neyman):

Soit  f_\theta(x) la densité de probabilité du vecteur d'observation X. Une statistique S est exhaustive si et seulement s'il existe deux fonctions g et h telles que:

 f_\theta(x)=h(x) \, g(\theta,S(x)), \,\!

Un premier exemple: le modèle exponentiellement distribué[modifier | modifier le code]

Si X est un vecteur d'observation de n variables iid de loi exponentielle de paramètre \theta alors S(X)=\sum_{i=1}^n X_i est une statistique exhaustive.

En effet la densité de X est donné par: f_\theta(x)=\Pi _{i=1}^n {\theta}^{-1}e^{-\frac{x_i}{\theta}} qui peut se factoriser comme: f_\theta(x)= {\theta^{-n}} e^{-\frac{\sum _{i=1}^n x_i}{\theta}}={\theta^{-n}} e^{-\frac{S(x)}{\theta}}.

Ici on a h(x)=1 mais ce n'est pas toujours le cas.

Un deuxième exemple: la distribution de Poisson[modifier | modifier le code]

Soient X_1, ...., X_n des variables iid de distribution de Poisson de paramètre \lambda, alors S(X) = X_1 + ... + X_n est une statistique exhaustive.

La densité de x_i est:{e^{-\lambda} \lambda^{x_i} \over x_i !} \cdot

La densité de x est le produit des densités des x_i car ils sont iid donc : 
e^{-n\lambda} \lambda^{(x_1+x_2+\cdots+x_n)} \cdot 
{1 \over x_1 ! x_2 !\cdots x_n ! } \,\!

Le critère de factorisation est satisfait avec 
h(x)={1 \over x_1 ! x_2 !\cdots x_n ! } \,\!

Information apportée par une statistique exhaustive[modifier | modifier le code]

Dans le cadre de l'information de Fisher pour une statistique on a les deux résultats suivants :

  • Pour une statistique exhaustive on a I_{S}(\theta)=I(\theta) ce qui permet de voir une statistique exhaustive comme une statistique comprenant toute l'information du modèle. On a aussi la réciproque à savoir que si I_{S}(\theta)=I(\theta) alors S est exhaustif bien que cette caractérisation soit rarement utilisée dans ce sens. La définition reposant sur le critère de factorisation des statistiques exhaustives est souvent plus maniable.
  • Quelle que soit la statistique S, I_{S}(\theta)\leq I(\theta) avec un cas d'égalité uniquement pour des statistiques exhaustives. On ne peut donc récupérer plus d'information que celle contenue dans une statistique exhaustive. Ceci explique en grande partie l'intérêt des statistiques exhaustives pour l'estimation. La relation d'ordre est ici la relation d'ordre partielle sur les matrices symétriques à savoir qu'une matrice A\leq B si B-A est une matrice symétrique positive.