Série d'Edgeworth

La série A de Gram-Charlier (nommée en l'honneur de Jørgen Pedersen Gram et Carl Charlier) et la série d'Edgeworth (nommée en l'honneur de Francis Ysidro Edgeworth) sont des séries qui se rapprochent d'une distribution de probabilité exprimée à partir de ses cumulants . Les séries sont identiques, mais l'arrangement des termes (et donc la précision de la troncature de la série) diffère. Le principe de ces développements est d'écrire la fonction caractéristique de la distribution dont la fonction de densité de probabilité f doit être approchée en fonction de la fonction caractéristique d'une distribution avec des propriétés connues et appropriées, et de récupérer f par une transformée de Fourier inverse.

Série A de Gram-Charlier

On considère une variable aléatoire continue. On note ${\hat {f}}$ la fonction caractéristique de sa distribution dont la fonction de densité est f, et $\kappa _{r}$ ses cumulants. On développe en termes de distribution connue avec la fonction de densité de probabilité ψ, sa fonction caractéristique ${\hat {\psi }}$, et ses cumulants $\gamma _{r}$ . La densité ψ est généralement choisie comme étant celle de la distribution normale, mais d'autres choix sont également possibles. Par la définition des cumulants, on a (voir Wallace, 1958) :

${\hat {f}}(t)=\exp \left[\sum _{r=1}^{\infty }\kappa _{r}{\frac {(\mathrm {i} t)^{r}}{r!}}\right]$ et

${\hat {\psi }}(t)=\exp \left[\sum _{r=1}^{\infty }\gamma _{r}{\frac {(\mathrm {i} t)^{r}}{r!}}\right],$

qui donne l'identité formelle suivante :

${\hat {f}}(t)=\exp \left[\sum _{r=1}^{\infty }(\kappa _{r}-\gamma _{r}){\frac {(\mathrm {i} t)^{r}}{r!}}\right]{\hat {\psi }}(t)\,.$

Par les propriétés de la transformée de Fourier, $(\mathrm {i} t)^{r}{\hat {\psi }}(t)$ est la transformée de Fourier de $(-1)^{r}[D^{r}\psi ](-x)$, où D est l' opérateur différentiel par rapport à x . Ainsi, après avoir changé $x$ avec $-x$ des deux côtés de l'équation, on trouve pour f le développement formel

$f(x)=\exp \left[\sum _{r=1}^{\infty }(\kappa _{r}-\gamma _{r}){\frac {(-D)^{r}}{r!}}\right]\psi (x)\,.$

Si ψ est choisi comme la densité normale

$\phi (x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left[-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right]$

avec la moyenne et la variance données par f, c'est-à-dire comme moyenne $\mu =\kappa _{1}$ et comme variance $\sigma ^{2}=\kappa _{2}$, alors le développement devient

$f(x)=\exp \left[\sum _{r=3}^{\infty }\kappa _{r}{\frac {(-D)^{r}}{r!}}\right]\phi (x),$

puisque $\gamma _{r}=0$ pour tout r > 2, car les cumulants d'ordres supérieurs de la distribution normale sont nuls. En développant les termes exponentiels et réunissant les termes selon l'ordre des dérivées, on arrive à la série A de Gram-Charlier. Un tel développement peut être écrit de manière compacte avec les polynômes de Bell ainsi :

$\exp \left[\sum _{r=3}^{\infty }\kappa _{r}{\frac {(-D)^{r}}{r!}}\right]=\sum _{n=0}^{\infty }B_{n}(0,0,\kappa _{3},\ldots ,\kappa _{n}){\frac {(-D)^{n}}{n!}}.$

Puisque la dérivée n-ième de la fonction gaussienne $\phi$ est donnée en termes de polynôme d'Hermite par

$\phi ^{(n)}(x)={\frac {(-1)^{n}}{\sigma ^{n}}}He_{n}\left({\frac {x-\mu }{\sigma }}\right)\phi (x),$

on obtient l'expression finale de la série A de Gram-Charlier comme

$f(x)=\phi (x)\sum _{n=0}^{\infty }{\frac {1}{n!\sigma ^{n}}}B_{n}(0,0,\kappa _{3},\ldots ,\kappa _{n})He_{n}\left({\frac {x-\mu }{\sigma }}\right).$

L'intégration de la série donne la fonction de répartition :

$F(x)=\int _{-\infty }^{x}f(u)\,\mathrm {d} u=\Phi (x)-\phi (x)\sum _{n=3}^{\infty }{\frac {1}{n!\sigma ^{n-1}}}B_{n}(0,0,\kappa _{3},\ldots ,\kappa _{n})He_{n-1}\left({\frac {x-\mu }{\sigma }}\right),$

où $\Phi$ est la fonction de répartition de la loi normale.

Si on n'inclut que les deux premiers termes de correction à la loi normale, il vient :

$f(x)\approx {\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left[-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right]\left[1+{\frac {\kappa _{3}}{3!\sigma ^{3}}}He_{3}\left({\frac {x-\mu }{\sigma }}\right)+{\frac {\kappa _{4}}{4!\sigma ^{4}}}He_{4}\left({\frac {x-\mu }{\sigma }}\right)\right]\,,$

avec $He_{3}(x)=x^{3}-3x$ et $He_{4}(x)=x^{4}-6x^{2}+3$ .

On notera que cette expression n'est pas assurée d'être positive et ne définit donc pas une loi de probabilité valide. La série A de Gram – Charlier diverge dans de nombreux cas classiques - elle ne converge que si $f(x)$ décroit plus vite que $\exp(-(x^{2})/4)$ à l'infini (Cramér 1957). Lorsqu'elle ne converge pas, la série n'est pas non plus un véritable développement asymptotique, car il n'est pas possible d'estimer l'erreur du développement. Pour cette raison, la série d'Edgeworth est généralement préférée à la série A de Gram-Charlier.

Série d'Edgeworth

Edgeworth a établi un développement similaire en tant qu'amélioration du théorème central limite. L'avantage de la série d'Edgeworth est que l'erreur est contrôlée, de sorte qu'il s'agit d'un véritable développement asymptotique .

Soient $\{Z_{i}\}$ une suite de variables aléatoires indépendantes et identiquement distribuées de moyenne $\mu$ et variance $\sigma ^{2}$, et soient $X_{n}$ leurs sommes standardisées :

$X_{n}={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {Z_{i}-\mu }{\sigma }}.$

On note $F_{n}$ les fonctions de répartition des variables $X_{n}$. Alors par le théorème central limite,

$\lim _{n\to \infty }F_{n}(x)=\Phi (x)\equiv \int _{-\infty }^{x}{\tfrac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}q^{2}}dq$

pour chaque $x$, tant que la moyenne et la variance sont finies.

La standardisation de $\{Z_{i}\}$ assure que les deux premiers cumulants de $X_{n}$ valent $\kappa _{1}^{F_{n}}=0$ et $\kappa _{2}^{F_{n}}=1.$ On suppose maintenant que, en plus d'avoir une moyenne $\mu$ et une variance $\sigma ^{2}$ finies, les variables aléatoires iid $Z_{i}$ ont des cumulants plus élevés $\kappa _{r}$ bien définis. A partir des propriétés d'additivité et d'homogénéité des cumulants, les cumulants de $X_{n}$ en termes de cumulants de $Z_{i}$ sont pour $r\geq 2$ ,

$\kappa _{r}^{F_{n}}={\frac {n\kappa _{r}}{\sigma ^{r}n^{r/2}}}={\frac {\lambda _{r}}{n^{r/2-1}}}\quad \mathrm {where} \quad \lambda _{r}={\frac {\kappa _{r}}{\sigma ^{r}}}.$

Si on développe l'expression formelle de la fonction caractéristique ${\hat {f}}_{n}(t)$ de $F_{n}$ en termes de distribution normale standard, c'est-à-dire si l'on pose

$\phi (x)={\frac {1}{\sqrt {2\pi }}}\exp(-{\tfrac {1}{2}}x^{2}),$

alors les différences entre cumulants dans le développement sont

$\kappa _{1}^{F_{n}}-\gamma _{1}=0,$

$\kappa _{2}^{F_{n}}-\gamma _{2}=0,$

$\kappa _{r}^{F_{n}}-\gamma _{r}={\frac {\lambda _{r}}{n^{r/2-1}}};\qquad r\geq 3.$

La série A de Gram – Charlier pour la fonction de densité de $X_{n}$ est maintenant

$f_{n}(x)=\phi (x)\sum _{r=0}^{\infty }{\frac {1}{r!}}B_{r}\left(0,0,{\frac {\lambda _{3}}{n^{1/2}}},\ldots ,{\frac {\lambda _{r}}{n^{r/2-1}}}\right)He_{r}(x).$

La série Edgeworth est développée de manière similaire à la série A de Gram-Charlier, sauf que maintenant les termes sont collectés en fonction des puissances de n. Les coefficients du terme n ^-m/2 peuvent être obtenus en rassemblant les monômes des polynômes de Bell correspondant aux partitions entières de m. Ainsi, on obtient la fonction caractéristique comme

${\hat {f}}_{n}(t)=\left[1+\sum _{j=1}^{\infty }{\frac {P_{j}(\mathrm {i} t)}{n^{j/2}}}\right]\exp(-t^{2}/2)\,,$

où $P_{j}(x)$ est un polynôme de degré $3j$. Encore une fois, après transformée de Fourier inverse, la fonction de densité $f_{n}$ s'exprime comme suit :

$f_{n}(x)=\phi (x)+\sum _{j=1}^{\infty }{\frac {P_{j}(-D)}{n^{j/2}}}\phi (x)\,.$

De même, en intégrant la série, on obtient la fonction de répartition :

$F_{n}(x)=\Phi (x)+\sum _{j=1}^{\infty }{\frac {1}{n^{j/2}}}{\frac {P_{j}(-D)}{D}}\phi (x)\,.$

On peut écrire explicitement le polynôme $P_{m}(-D)$ comme

$P_{m}(-D)=\sum \prod _{i}{\frac {1}{k_{i}!}}\left({\frac {\lambda _{l_{i}}}{l_{i}!}}\right)^{k_{i}}(-D)^{s},$

où la sommation est sur toutes les partitions entières de m telles que $\sum _{i}ik_{i}=m$ et $l_{i}=i+2$ et $s=\sum _{i}k_{i}l_{i}.$

Par exemple, si m = 3, alors il y a trois façons de partitionner ce nombre : 1 + 1 + 1 = 2 + 1 = 3. Il faut donc examiner trois cas :

• 1 + 1 + 1 = 1 · k₁, ce qui donne k₁ = 3, l₁ = 3 et s = 9.
• 1 + 2 = 1 · k₁ + 2 · k₂, ce qui donne k₁ = 1, k₂ = 1, l₁ = 3, l₂ = 4 et s = 7.
• 3 = 3 · k₃, ce qui donne k₃ = 1, l₃ = 5 et s = 5.

Ainsi, le polynôme recherché est

${\begin{aligned}P_{3}(-D)&={\frac {1}{3!}}\left({\frac {\lambda _{3}}{3!}}\right)^{3}(-D)^{9}+{\frac {1}{1!1!}}\left({\frac {\lambda _{3}}{3!}}\right)\left({\frac {\lambda _{4}}{4!}}\right)(-D)^{7}+{\frac {1}{1!}}\left({\frac {\lambda _{5}}{5!}}\right)(-D)^{5}\\&={\frac {\lambda _{3}^{3}}{1296}}(-D)^{9}+{\frac {\lambda _{3}\lambda _{4}}{144}}(-D)^{7}+{\frac {\lambda _{5}}{120}}(-D)^{5}.\end{aligned}}$

Les cinq premiers termes du développement sont

${\begin{aligned}f_{n}(x)&=\phi (x)\\&\quad -{\frac {1}{n^{\frac {1}{2}}}}\left({\tfrac {1}{6}}\lambda _{3}\,\phi ^{(3)}(x)\right)\\&\quad +{\frac {1}{n}}\left({\tfrac {1}{24}}\lambda _{4}\,\phi ^{(4)}(x)+{\tfrac {1}{72}}\lambda _{3}^{2}\,\phi ^{(6)}(x)\right)\\&\quad -{\frac {1}{n^{\frac {3}{2}}}}\left({\tfrac {1}{120}}\lambda _{5}\,\phi ^{(5)}(x)+{\tfrac {1}{144}}\lambda _{3}\lambda _{4}\,\phi ^{(7)}(x)+{\tfrac {1}{1296}}\lambda _{3}^{3}\,\phi ^{(9)}(x)\right)\\&\quad +{\frac {1}{n^{2}}}\left({\tfrac {1}{720}}\lambda _{6}\,\phi ^{(6)}(x)+\left({\tfrac {1}{1152}}\lambda _{4}^{2}+{\tfrac {1}{720}}\lambda _{3}\lambda _{5}\right)\phi ^{(8)}(x)+{\tfrac {1}{1728}}\lambda _{3}^{2}\lambda _{4}\,\phi ^{(10)}(x)+{\tfrac {1}{31104}}\lambda _{3}^{4}\,\phi ^{(12)}(x)\right)\\&\quad +O\left(n^{-{\frac {5}{2}}}\right).\end{aligned}}$

Ici, ϕ^(j)(x) est la dérivée j -ième de ϕ(·) au point x . En rappelant que les dérivées de la densité de la distribution normale sont liées à la densité normale par $\phi ^{(n)}(x)=(-1)^{n}He_{n}(x)\phi (x)$, (où $He_{n}$ est le polynôme d'Hermite d'ordre n), ceci explique les représentations alternatives en termes de fonction de densité. Blinnikov et Moessner (1998) ont donné un algorithme simple pour calculer les termes d'ordre supérieur du développement.

Il faut noter que dans le cas d'une distribution de réseau (qui ont des valeurs discrètes), le développement d'Edgeworth doit être ajusté pour tenir compte des sauts discontinus entre les points du réseau.

Illustration : densité de la moyenne d'échantillon de trois distributions χ²

Densité de la moyenne de l'échantillon de trois variables χ². Le graphique compare la densité réelle, l'approximation normale et deux développements d'Edgeworth.

On prend $X_{i}\sim \chi ^{2}(k=2),\,i=1,2,3\,(n=3)$ et la moyenne de l'échantillon ${\bar {X}}={\frac {1}{3}}\sum _{i=1}^{3}X_{i}$ .

On peut utiliser plusieurs distributions pour ${\bar {X}}$ :

• La distribution exacte, qui suit une distribution gamma : ${\bar {X}}\sim \mathrm {Gamma} \left(\alpha =n\cdot k/2,\theta =2/n\right)=\mathrm {Gamma} \left(\alpha =3,\theta =2/3\right)$ .
• La distribution normale asymptotique : ${\bar {X}}\xrightarrow {n\to \infty } {\mathcal {N}}(k,2\cdot k/n)={\mathcal {N}}(2,4/3)$ .
• Deux développements d'Edgeworth, de degrés 2 et 3.

Discussion des résultats

• Pour les échantillons finis, une série d'Edgeworth n'est pas garantie d'être une loi de probabilité appropriée car les valeurs de la fonction de répartition à certains points peuvent aller au-delà de l'intervalle $[0,1]$ .
• Ils garantissent (asymptotiquement) des erreurs absolues, mais les erreurs relatives peuvent être facilement évaluées en comparant le terme principal d'Edgeworth dans le reste avec le terme principal global .

Voir aussi

• Approximation de Cornish-Fisher
• Arbre binomial d'Edgeworth

Bibliographie

• H. Cramér . (1957). Méthodes mathématiques des statistiques . Presse universitaire de Princeton, Princeton.
• M. Kendall et A. Stuart. (1977), La théorie avancée des statistiques, Vol 1 : Théorie de la distribution, 4e édition, Macmillan, New York.
• P. McCullagh (1987). Méthodes tensorielles en statistiques . Chapman et Hall, Londres.
• DR Cox et OE Barndorff-Nielsen (1989). Techniques asymptotiques à utiliser en statistique . Chapman et Hall, Londres.
• P. Hall (1992). L'extension Bootstrap et Edgeworth . Springer, New York.
• JE Kolassa (2006). Méthodes d'approximation des séries en statistiques (3e éd. ). (Notes de cours dans Statistics #88). Springer, New York.