Théorème de Glivenko-Cantelli

En Statistiques, une fonction de répartition empirique est la fonction de répartition d'une mesure de probabilités qui attribue la probabilité 1/n à chacun des n termes d'un échantillon: soit

$X_{1},\ldots ,X_{n}$

un échantillon de variables iid à valeurs dans $\scriptstyle \ \mathbb {R} \$ avec pour fonction de répartition F(x). La fonction de distribution empirique $\scriptstyle \ F_{n}(x)\$ basée sur l'échantillon $X_{1},\ldots ,X_{n}$ est une fonction en escalier définie par

${\begin{aligned}F_{n}(x)&={\frac {\mathrm {nombre~d'{\acute {e}}l{\acute {e}}ments} \ \leq x\ \mathrm {dans~l'{\acute {e}}chantillon} }{n}}\\&={\tfrac {1}{n}}\sum _{i=1}^{n}I(X_{i}\leq x),\end{aligned}}$

où I(A) est la fonction indicatrice de l'événement A. Le théorème de Glivenko-Cantelli stipule la convergence uniforme de F_n vers F.

Énoncé

Théorème de Glivenko-Cantelli —  Presque sûrement, la convergence uniforme $\scriptstyle \ F_{n}\to F\$ a lieu, ou bien, de manière équivalente :

$\mathbb {P} \left(\lim _{n}\ \|F_{n}-F\|_{\infty }=0\right)=1.$

La loi forte des grands nombres, dans le cas de variables aléatoires de Bernoulli, implique que

$\forall x\in \mathbb {R} ,\quad \mathbb {P} \left(\lim _{n}\ |F_{n}(x,\omega )-F(x)|=0\right)=1,$

mais il n'en découle pas nécessairement que

$\mathbb {P} \left(\forall x\in \mathbb {R} ,\quad \lim _{n}\ |F_{n}(x,\omega )-F(x)|=0\right)=1,$

puisqu'une intersection non dénombrable d'ensembles de probabilité 1 n'est pas nécessairement de probabilité 1. Serait-elle de probabilité 1 qu'on n'aurait alors prouvé que la convergence simple, au lieu de la convergence uniforme stipulée par le théorème de Glivenko-Cantelli.

La preuve du théorème de Glivenko-Cantelli s'apparente à celle du deuxième théorème de Dini, bien qu'ici F ne soit pas supposée continue.

Démonstration

Soit $\scriptstyle \ \left(\Omega ,{\mathcal {A}},\mathbb {P} \right)\$ l'espace probabilisé sur lequel les variables aléatoires $\scriptstyle \ X_{n},\ n\geq 1,\$ sont définies. Comme le sont toutes les fonctions de répartition de loi de probabilité, les fonctions $\scriptstyle \ x\to F_{n}(x,\omega )\$ et $\scriptstyle \ x\to F(x)\$ sont croissantes et continues à droite sur tout $\scriptstyle \ \mathbb {R} ,\$ et par ailleurs elles tendent vers 0 (resp. vers 1) en $\scriptstyle \ -\infty \$ (resp. en $\scriptstyle \ +\infty \$). Ainsi, pour tout nombre réel x, et pour tout $\scriptstyle \ \omega \in \Omega ,\$ les limites à gauches $\scriptstyle \ F_{n}(x-,\omega )\$ et $\scriptstyle \ F(x-)\$ sont-elles bien définies. De plus, comme

$\lim _{y\uparrow x}I(X_{i}(\omega )\leq y)\ =\ I(X_{i}(\omega )<x),$

on en déduit que :

$F_{n}(x-,\omega )\ =\ {\tfrac {1}{n}}\sum _{i=1}^{n}I(X_{i}(\omega )<x).$

Ainsi, étant la somme de variables de Bernoulli indépendantes et de même loi, $\scriptstyle \ nF_{n}(x,\omega )\$ (resp. $\scriptstyle \ nF_{n}(x-,\omega )\$) suit une loi binomiale de paramètres n et $\scriptstyle \ F(x)=\mathbb {P} (X_{i}\leq x)\$ (resp. $\scriptstyle \ F(x-)=\mathbb {P} (X_{i}<x)\$). De plus, en vertu de la loi forte des grands nombres, les ensembles

$A_{x}\ =\ \left\{\omega \in \Omega \ \left|\ \lim _{n}F_{n}(x,\omega )=F(x)\right.\right\},\quad B_{x}\ =\ \left\{\omega \in \Omega \ \left|\ \lim _{n}F_{n}(x-,\omega )=F(x-)\right.\right\}$

sont presque sûrs.

Notons G la réciproque généralisée de F, définie pour $\ \scriptstyle x\in ]0,1[\$ par

$G(x)=\inf \left\{u\in \mathbb {R} \ |\ F(u)\geq x\right\},$

et, pour $\scriptstyle \ 1\leq k\leq m-1,\$ notons

$x(k,m)\ =\ G\left({\tfrac {k}{m}}\right)$

l'image de k/m par G. Par définition de G, en considérant, successivement, une suite strictement croissante de nombre réels convergeant vers x(k,m), puis une autre suite, cette fois strictement décroissante vers x(k,m), et en utilisant la continuité à droite de F, on obtient

$F(x(k,m)-)\ \leq \ {\frac {k}{m}}\ \leq F(x(k,m)),$

et, par conséquent

${\begin{aligned}F(x(k,m)-)-F(x(k-1,m))&\leq \ {\frac {1}{m}},\\F(x(1,m)-)&\leq \ {\frac {1}{m}},\\1-F(x(m-1,m))&\leq \ {\frac {1}{m}}.\end{aligned}}$

Ainsi, pour un nombre réel x tel que $\scriptstyle \ x(k,m)\leq x<x(k+1,m),\ 1\leq k\leq m-2,\$ on a successivement

${\begin{aligned}F_{n}(x,\omega )-F(x)&\leq \ F_{n}(x(k+1,m)-,\omega )-F(x)\\&\leq \ F_{n}(x(k+1,m)-,\omega )-F(x(k+1,m)-)+{\tfrac {1}{m}},\\F_{n}(x,\omega )-F(x)&\geq \ F_{n}(x(k,m),\omega )-F(x)\\&\geq \ F_{n}(x(k,m),\omega )-F(x(k,m))-{\tfrac {1}{m}}.\\\end{aligned}}$

Si $\scriptstyle \ x<x(1,m),\$ la première inégalité reste inchangée et la deuxième devient $\scriptstyle \ F_{n}(x,\omega )-F(x)\ \geq \ -{\tfrac {1}{m}}.$ Si $\scriptstyle \ x\geq x(m-1,m),\$ c'est la deuxième inégalité qui reste inchangée, la première devenant $\scriptstyle \ F_{n}(x,\omega )-F(x)\ \leq \ {\tfrac {1}{m}}.$ Quoiqu'il en soit, on en déduit que pour tout réel x,

$\left|F_{n}(x,\omega )-F(x)\right|\leq \ D_{n}(\omega )+{\tfrac {1}{m}},$

où $\scriptstyle \ D_{n}(\omega )\$ est le supremum de l'ensemble fini :

$\left\{|F_{n}(x(k,m)-),\omega )-F(x(k,m)-)|,\,|F_{n}(x(k,m)),\omega )-F(x(k,m))|,\ 1\leq k\leq m-1\right\}.$

En d'autres termes,

$\sup _{x\in \mathbb {R} }\left|F_{n}(x,\omega )-F(x)\right|=\|F_{n}(.,\omega )-F(.)\|_{\infty }\leq \ D_{n}(\omega )+{\tfrac {1}{m}}.$

Posons

$\Omega _{m}\ =\ \bigcap _{k=1}^{m-1}\left(A_{x(k,m)}\cap B_{x(k,m)}\right).$

L'ensemble $\scriptstyle \ \Omega _{m}\$ est presque sûr, comme intersection finie d'ensembles presque sûrs. Pour $\scriptstyle \ \omega \in \Omega _{m},\$

$\lim _{n}D_{n}(\omega )=0,$

donc

$\limsup _{n}\|F_{n}(.,\omega )-F(.)\|_{\infty }\ \leq \ {\tfrac {1}{m}}.$

Finalement l'ensemble

${\bar {\Omega }}=\bigcap _{m\geq 1}\Omega _{m}$

est presque sûr, comme intersection dénombrable d'ensembles presque sûrs, et pour $\scriptstyle \ \omega \in {\bar {\Omega }},\$

$\limsup _{n}\|F_{n}(.,\omega )-F(.)\|_{\infty }\ \leq \ 0,$

ou, de manière équivalente,

$\lim _{n}\|F_{n}(.,\omega )-F(.)\|_{\infty }\ =\ 0.$

Bibliographie

• (en) Galen R. Shorack et Jon A. Wellner, Empirical Processes With Applications to Statistics, Society for Industrial & Applied Mathematics, 4 septembre 2009, 998 p. (ISBN 0898716845 et 978-0898716849)
• van der Vaart, A.W. and Wellner, J.A. (1996) "Weak Convergence and Empirical Processes", Springer. ISBN 0-387-94640-3.