Utilisateur:Manay Kimak/Processus gaussien

## Cette page est un brouillon qui vise à traduire et à compléter l'article anglais sur les Processus Gaussien

En théorie des probabilités et en statistiques, un Processus Gaussien est un processus stochastique pour lequel tout sous-ensemble fini de ses variables aléatoires suit une loi normale multidimensionnelle. Par équivalence, cela induit que tout combinaison linéaire d'un sous-ensemble fini d'un processus gaussien suit une loi normale. Ainsi, la distribution d'un processus gaussien est la distribution jointe de ses variables aléatoires et peut être vue ainsi comme une distribution sur les fonctions définies avec le même ensemble de définition que le processus gaussien.

Comme tout processus stochastique, un processus gaussien peut être défini sur un espace discret ou continu de petite ou de grande dimension. Il peut être intuitif, dans un premier temps, de considérer des espaces spatio-temporels pour appréhender la notion de processus stochastique mais il est important de retenir qu'il peuvent être définis dans des espaces bien plus complexes. Par exemple, dans le cadre de la régression par des processus gaussiens et de ses application en apprentissage automatique ou en optimisation bayésienne, l'ensemble de définition conjuguera souvent des espaces discrets et continus de grande dimension.

Un des avantages majeurs de travailler avec des processus gaussien est de bénéficier de toutes les propriétés de la loi normale en théorie des probabilités. Entre autres, puisque la loi du processus gaussien (en tant que loi jointe de variables aléatoires normales) suit une distribution normale, les lois marginales et conditionnelles suivent également des distribution normales dont les paramètres (moyenne et covariance) ont une forme analytique connue. Leur calcul numérique peut être plus ou moins évident en fonction de la fonction de covariance puisqu'il implique des inverses de matrices et pose évidemment la question de l'inversibilité de ces dernières et la question de la manière de les calculer dans des espaces de grande dimension.

Le concept de processus gaussien a été nommé ainsi en référence à Carl Friedrich Gauss puisqu'il est essentiellement basé sur la notion de distribution gaussienne et peut être vu comme une généralisation en dimension infinie des distribution normales multidimensionnelles.

Définition

Soit $f$ un processus stochastique indexé sur ${\mathcal {X}}$ tel que, pour tout ${\textbf {x}}\in {\mathcal {X}}$, $f({\textbf {x}})$ est une variable aléatoire à valeurs dans un ensemble ${\mathcal {V}}$. On dit que $f$ est un processus gaussien si et seulement si la loi fini-dimensionnelle de $f$ est une loi normale multidimensionnelle. Autrement dit, $f$ est un processus gaussien si et seulement si, pour tout $n\in \mathbb {N}$

$\forall ({\textbf {x}}_{1},\dots ,{\textbf {x}}_{n})\in {\mathcal {X}}^{n}$, $(f({\textbf {x}}_{1}),\dots ,f({\textbf {x}}_{n}))\sim {\mathcal {N}}(\mu ,\Sigma )$

où $\mu \in {\mathcal {V}}^{n}$ et $\Sigma \in {\mathcal {M}}_{n}(\mathbb {R} )$.

Ceci est équivalent à dire que tout combinaison linéaire des $(f({\textbf {x}}_{i}))_{i\leq n}$ suit une loi normale, c'est à dire que pour tout coefficients $(\lambda _{i})_{i\leq n}\in \mathbb {R} ^{n}$

$\sum _{i=0}^{n}\lambda _{i}f({\textbf {x}}_{i})\sim {\mathcal {N}}(\mu ,\sigma )$

où $\mu \in {\mathcal {V}}$ et $\sigma \in \mathbb {R}$.

On peut également caractériser un processus gaussien par le biais des fonctions caractéristiques. Si pour tout $n\in \mathbb {N}$, et pour tout $n$-uplet de points $({\textbf {x}}_{i})_{i\leq n}\in {\mathcal {X}}^{n}$ il existe des réels $\sigma _{k,l},\mu _{k}$ avec $\sigma _{k,k}>0$ tels que l'égalité suivante est vérifiée pour tout $(\lambda _{i})_{i\leq n}\in \mathbb {R} ^{n}$ :

$\mathbb {E} \left(\exp \left(i\sum _{i=1}^{n}\lambda _{i}f({\textbf {x}}_{i})\right)\right)=\exp \left(-{\frac {1}{2}}\sum _{k,l=1}^{n}\sigma _{k,l}\lambda _{k}\lambda _{l}+i\sum _{k=1}^{n}\mu _{k}\lambda _{k}\right)$

où $i$ est le nombre imaginaire tel que $i^{2}=-1$. On peut alors prouver que $\sigma _{k,l}$ et $\mu _{k}$ sont les valeurs de la moyenne et de la covariance du processus gaussien, c'est à dire les paramètre de loi fini-dimensionnelle normale.

Les définitions ci-dessus caractérisent le processus gaussien à l'aide des lois fini-dimensionnelles. Cependant, on peut construire soi-même des processus gaussien de telle sorte à ce que ces propriétés soient vérifiés par construction comme il est détaillé dans la section suivante.

Construction d'un processus gaussien

On reprend les notations de la section précédente avec ${\mathcal {X}}$ l'ensemble sur lequel est indexé le processus gaussien et ${\mathcal {V}}$ l'ensemble où il prend ses valeurs. Pour définir un processus gaussien, il suffit de définir une fonction de moyenne $\mu :{\mathcal {X}}\to {\mathcal {V}}$ ainsi qu'une fonction de covariance ${\mathcal {K}}:{\mathcal {X}}^{2}\to \mathbb {R}$ (aussi appelée noyau, kernel en anglais). Ainsi, si l'on définit le processus stochastique $f$ tel que

$f\sim {\mathcal {N}}(\mu (\cdot ),{\mathcal {K}}(\cdot ,\cdot ))$

c'est à dire que, pour tout point ${\textbf {x}}\in {\mathcal {X}}$, la variable aléatoire $f({\textbf {x}})$ suit une loi normale de moyenne $\mu ({\textbf {x}})$ et de variance ${\mathcal {K}}({\textbf {x}},{\textbf {x}})$, alors $f$ est un processus gaussien.

En effet, si on prend un ensemble de points ${\textbf {X}}=({\textbf {x}}_{1},\dots ,{\textbf {x}}_{n})\in {\mathcal {X}}^{n}$ alors le vecteur aléatoire suit une loi normale multidimensionnelle, c'est à dire :

$f({\textbf {X}})=(f({\textbf {x}}_{1}),\dots ,f({\textbf {x}}_{n}))\sim {\mathcal {N}}(\mu ({\textbf {X}}),{\mathcal {K}}({\textbf {X}},{\textbf {X}}))$

où $\mu ({\textbf {X}})$ est le vecteur où l'on applique la fonction $\mu$ à chaque point de ${\textbf {X}}$ et la matrice de covariance $\Sigma ={\mathcal {K}}({\textbf {X}},{\textbf {X}})$ est définie ainsi : $\Sigma _{i,j}={\mathcal {K}}({\textbf {x}}_{i},{\textbf {x}}_{j})$.