Loi de Wishart

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Loi de Wishart
Paramètres  n > p-1\! Degré de liberté
\mathbf{V} > 0\, paramètre d'échelle (p\times p matrice définie positive)
Support l'ensemble des matrices définies positives
Densité de probabilité (fonction de masse) \frac{1}{2^\frac{np}{2}\left|{\mathbf V}\right|^\frac{n}{2}\Gamma_p(\frac{n}{2})} {\left|\mathbf{X}\right|}^{\frac{n-p-1}{2}} e^{-\frac{1}{2}{\rm tr}({\mathbf V}^{-1}\mathbf{X})}

\Gamma_p est la fonction gamma multidimensionnelle et \mathrm{tr} est la fonction trace

Espérance n \mathbf{V}
Mode (n-p-1)\mathbf{V}\text{ for }n \geq p+1
Variance \operatorname{Var}(\mathbf{X}_{ij}) = n(v_{ij}^2+v_{ii}v_{jj})
Entropie voir l'article
Fonction caractéristique \Theta \mapsto \left|{\mathbf I} - 2i\,{\mathbf\Theta}{\mathbf V}\right|^{-n/2}

En théorie des probabilités et en statistique, la loi de Wishart est la généralisation multidimensionnelle de la loi du χ², ou, dans le cas où le nombre de degré de libertés n'est pas entier, de la loi gamma. La loi est dénommée en l'honneur de John Wishart qui la formula pour la première fois en 1928[1].

C'est une famille de lois de probabilité sur les matrices définies positives, symétriques. Une variable aléatoire de loi de Wishart est donc une matrice aléatoire. Trois lois sont d'une grande importance dans l'estimation des matrices de variance-covariance

Si une variable aléatoire S suit une loi de Wishart, on notera S\sim W_p(V,n) ou W(V,p,n)

Définition[modifier | modifier le code]

Supposons que X est une matrice \scriptstyle n\times p, les lignes sont des vecteurs aléatoires indépendants et suivent une loi normale p-dimensionnelle centrée :

X_{(i)}{=}(x_i^1,\dots,x_i^p)\sim N_p(0,V).

Alors la loi de Wishart est la loi de probabilité de la matrice \scriptstyle p\times p

S=X^T X \,\!

connue sous le nom matrice de dispersion. L'entier naturel n est le nombre de degrés de liberté. Pour n>p, la matrice S est inversible avec probabilité 1 si V est inversible. Si p=1 et \scriptstyle V=\mathbf 1, alors la loi de Wishart est la loi du χ² à n degrés de liberté.

Utilisation[modifier | modifier le code]

La loi de Wishart apparait comme la loi d'une matrice de covariance d'un échantillon de valeurs suivant une loi normale multidimensionnelle[citation nécessaire]. Elle apparait fréquemment dans les tests de Likelihood ratio en analyse statistique multivariée. Elle apparait également en théorie spectrale des matrices aléatoires[citation nécessaire] et en analyse bayésienne multidimensionnelle[citation nécessaire].

Densité de probabilité[modifier | modifier le code]

La loi de Wishart peut être caractérisée par sa densité de probabilité de la manière suivante. On fixe \mathbf{V} une matrice \scriptstyle n\times p symétrique définie positive (paramètre d'échelle). Si \scriptstyle n\geq p, alors la densité de probabilité de la loi de Wishart est donnée par :

f(\mathbf{X})=\frac{1}{2^\frac{np}{2}\left|{\mathbf V}\right|^\frac{n}{2}\Gamma_p(\frac{n}{2})} {\left|\mathbf{X}\right|}^{\frac{n-p-1}{2}} e^{-\frac{1}{2}{\rm tr}({\mathbf V}^{-1}\mathbf{X})}

pour toute \scriptstyle n\times p-matrice \mathbf{X} symétrique définie positive, et où \scriptstyle \Gamma_p est la fonction gamma multidimensionnelle définie par :

\Gamma_p(n/2)=\pi^{p(p-1)/4}\Pi_{j=1}^p\Gamma\left[ n/2+(1-j)/2\right].

En fait la définition précédente peut être étendue à tout réel \scriptstyle n\geq p. Si \scriptstyle n< p, alors la loi de Wishart n'a plus de densité, mais devient une loi singulière[2].

Propriétés[modifier | modifier le code]

Log-espérance[modifier | modifier le code]

L'espérance du logarithme est donnée par[3] :

\operatorname{E}[\ln|\mathbf{X}|] = \sum_{i=1}^p \psi\left(\frac{n+1-i}{2}\right) + p\ln 2 + \ln|\mathbf{V}|

\psi est la fonction digamma, c'est-à-dire la dérivée du log de la fonction gamma.

Son calcul est développé ici.

Entropie[modifier | modifier le code]

l'entropie de la loi de Wishart est donnée par la formule suivante[3] :

\operatorname{H}[\mathbf{X}] = -\ln B(\mathbf{V},n) -\frac{(n-p-1)}{2} \operatorname{E}[\ln|\mathbf{X}|] + \frac{np}{2}

B(\mathbf{V},n) est la constante de renormalisation de la loi :

B(\mathbf{V},n) = \frac{1}{\left|\mathbf{V}\right|^\frac{n}{2} 2^\frac{np}{2}\Gamma_p(\frac{n}{2})}

L'entropie peut être écrite sous la forme :


\begin{align}
\operatorname{H}[\mathbf{X}] &= \frac{n}{2}\ln|\mathbf{V}| +\frac{np}{2}\ln 2 + \ln\Gamma_p(\frac{n}{2}) -\frac{(n-p-1)}{2} \operatorname{E}[\ln|\mathbf{X}|] + \frac{np}{2} \\
&= \frac{n}{2}\ln|\mathbf{V}| +\frac{np}{2}\ln 2 + \frac{p(p-1)}{4}\ln\pi + \sum_{i=1}^p \ln
\Gamma\left[ n/2+(1-j)/2\right] \\
&\quad-\frac{(n-p-1)}{2}\left(\sum_{i=1}^p \psi\left(\frac{n+1-i}{2}\right) + p\ln 2 + \ln|\mathbf{V}|\right) + \frac{np}{2} \\
&= \frac{n}{2}\ln|\mathbf{V}| - \frac{(n-p-1)}{2}\ln|\mathbf{V}| +\frac{np}{2}\ln 2 -\frac{(n-p-1)}{2}p\ln 2 + \frac{p(p-1)}{4}\ln\pi \\
&\quad+ \sum_{i=1}^p \ln\Gamma\left[ n/2+(1-j)/2\right] -\frac{(n-p-1)}{2}\sum_{i=1}^p \psi\left(\frac{n+1-i}{2}\right) + \frac{np}{2} \\
&= \frac{p+1}{2}\ln|\mathbf{V}| +\frac{p(p+1)}{2}\ln 2 + \frac{p(p-1)}{4}\ln\pi \\
&\quad+ \sum_{i=1}^p \ln\Gamma\left[ n/2+(1-j)/2\right] -\frac{(n-p-1)}{2}\sum_{i=1}^p \psi\left(\frac{n+1-i}{2}\right) + \frac{np}{2}. \\
\end{align}

Fonction caractéristique[modifier | modifier le code]

La fonction caractéristique de la loi de Wishart est donnée par[citation nécessaire] : \Theta \mapsto \left|{\mathbf I} - 2i\,{\mathbf\Theta}{\mathbf V}\right|^{-n/2}.

En d'autres termes,

\Theta \mapsto \operatorname{E}\left\{\mathrm{exp}\left[i\cdot\mathrm{tr}(\mathbf{X}{\mathbf\Theta})\right]\right\}=\left|{\mathbf I} - 2i{\mathbf\Theta}{\mathbf V}\right|^{-n/2}

\Theta et {\mathbf I} sont des matrices de même taille que {\mathbf V} et {\mathbf I} est la matrice unité.

Théorème[modifier | modifier le code]

Si \scriptstyle \mathbf{X} suit la loi de Wishart à m degrés de liberté et de matrice de covariance \scriptstyle {\mathbf V}, et si and \scriptstyle{\mathbf C} est une q\times p-matrice de rang q, alors[citation nécessaire] :

{\mathbf C}\mathbf{X}{\mathbf C}^T\sim\mathcal{W}_q\left({\mathbf C}{\mathbf V}{\mathbf C}^T,m\right).

Corollaire 1[modifier | modifier le code]

Si {\mathbf z} est un p-vecteur non nul, alors[citation nécessaire] {\mathbf z}^T\mathbf{X}{\mathbf z}\sim\sigma_z^2\chi_m^2.

\chi_m^2 est la loi du χ² et \sigma_z^2={\mathbf z}^T{\mathbf V}{\mathbf z} est une constante positive.

Corollaire 2[modifier | modifier le code]

Considérons le cas où {\mathbf z}^T=(0,\ldots,0,1,0,\ldots,0) (c'est-à-dire le j-ième élément est 1 et les autres 0). Alors le corollaire 1 montre que :

w_{jj}\sim\sigma_{jj}\chi^2_m

donne la loi marginale de chacun des éléments de la diagonale de la matrice.

Il est à remarquer que la loi de Wishart n'est pas appelée loi du χ² multidimensionnelle car les lois marginales hors diagonale ne sont pas des lois du χ².

Décomposition de Bartlett[modifier | modifier le code]

La décomposition de Bartlett d'une matrice \mathbf{X} suivant une loi de Wishart p-dimensionnelle de matrice d'échelle V et à n degrés de liberté est la factorisation[citation nécessaire] :

\mathbf{X} = {\textbf L}{\textbf A}{\textbf A}^T{\textbf L}^T

L est la factorisation de Cholesky de V et :

\mathbf A = \begin{pmatrix}
\sqrt{c_1} & 0 & 0 & \cdots & 0\\
n_{21} & \sqrt{c_2} &0 & \cdots& 0 \\
n_{31} & n_{32} & \sqrt{c_3} & \cdots & 0\\
\vdots & \vdots & \vdots &\ddots & \vdots \\
n_{p1} & n_{p2} & n_{p3} &\cdots & \sqrt{c_p}
\end{pmatrix}

c_i \sim \chi^2_{n-i+1} et n_{ij} \sim N(0,1) \, sont indépendants. Ceci donne une méthode utile pour obtenir des échantillons de valeurs de loi de Wishart[4].

Relations avec d'autres lois[modifier | modifier le code]

  • La loi de Wishart est liée à la Loi de Wishart inverse, notée W_p^{-1}, comme suit : si \mathbf{X}\sim W_p(\mathbf{V},n) et si on effectue la changement de variables \mathbf{C}=\mathbf{X}^{-1}, alors \mathbf{C}\sim W_p^{-1}(\mathbf{V}^{-1},n). Cette relation peut-être obtenue en remarquant que la valeur absolue du jacobien de ce changement de variable est |\mathbf{C}|^{p+1}, voir par exemple equation (15.15) dans [Dwyer][5].
  • La loi de Wishart est un cas particulier de loi gamma multidimensionnelle.

Références[modifier | modifier le code]

  1. (en) J. Wishart, « The generalised product moment distribution in samples from a normal multivariate population », Biometrika, vol. 20A, no 1-2,‎ 1928, p. 32-52 (lien DOI?)
  2. “On singular Wishart and singular multivariate beta distributions” by Harald Uhlig, Annals of Statistics, 1994, 395-405 projecteuclid
  3. a et b C.M. Bishop, Pattern Recognition and Machine Learning, Springer 2006, p. 693.
  4. (en) W. B. Smith et R. R. Hocking, « Algorithm AS 53: Wishart Variate Generator », Journal of the Royal Statistical Society. Series C (Applied Statistics), vol. 21, no 3,‎ 1972, p. 341-345 (lien JSTOR?)
  5. Paul S. Dwyer, “SOME APPLICATIONS OF MATRIX DERIVATIVES IN MULTIVARIATE ANALYSIS”, JASA 1967; 62:607-625, available JSTOR.