Échantillonnage de Gibbs

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

L'échantillonnage de Gibbs est une méthode MCMC. Étant donnée une distribution de probabilité π sur un univers Ω, cet algorithme définit une chaîne de Markov dont la distribution stationnaire est π. Il permet ainsi de tirer aléatoirement un élément de Ω selon la loi π (on parle d'échantillonnage).

Introduction[modifier | modifier le code]

Comme pour toutes les méthodes de Monte-Carlo à chaîne de Markov,

  • on se place dans un espace vectoriel Ɛ de dimension finie n ;
  • on veut générer aléatoirement N vecteurs x(i) suivant une distribution de probabilité π ;
  • pour simplifier le problème, on détermine une distribution qx(i) permettant de générer aléatoirement x(i + 1) à partir de x(i).

La spécificité de l'échantillonnage de Gibbs consiste à « découper » qx(i) en n probabilités conditionnelles :

  • la première composante du vecteur, x(i + 1)1, est générée à partir de la probabilité conditionnelle π(x1|x(i)2, x(i)3, …, x(i)n) ;
  • la seconde composante du vecteur, x(i + 1)2, est générée à partir de la probabilité conditionnelle π(x2|x(i + 1)1, x(i)3, …, x(i)n) ;
  • la composante j du vecteur, x(i + 1)j, est générée à partir de la probabilité conditionnelle π(xj|x(i + 1)1, x(i + 1)2, …, x(i + 1)j - 1, x(i)j + 1, …, x(i)n).

On remplace donc le problème de génération aléatoire de x(i + 1) par n problèmes que l'on espère plus simples.

Principe[modifier | modifier le code]

Soit X=(Xi, iS) une variable de loi π dans l'espace de sites S=⟦1;n vers l'espace des états Ω. Pour x = (x1;…;xn)∈Ω et les densités conditionnelles πi(xi|x¬i)x¬i = (xj, ji), iS, on construit l'échantillonneur de Gibbs sur les noyaux π-invariants : Pi(x,y) = πi(yi|x¬i)1(x¬i = y¬i).

Échantillonneur par balayage systématique[modifier | modifier le code]

On visite S séquentiellement, en relaxant à chaque pas i la valeur suivant la loi πi conditionnelle à l'état courant. La transition de x à y s'écrit: P\left(x;y\right)=\prod_{i=1}^n\pi_i\left(y_i|y_1,\dotsc,y_{i-1},x_{i+1},\dotsc,x_n\right)

Échantillonneur par balayage aléatoire[modifier | modifier le code]

Soit ν une probabilité jamais nulle sur S. À chaque pas, un site i est choisi avec la probabilité νi>0 et la valeur y est relaxée selon la loi conditionnelle πi à l'état courant. La transition s'écrit: P\left(x;y\right)=\sum_{i=1}^n\nu_i\pi_i\left(y_i|x_{\neg{i}}\right)\mathbf{1}\left(x_{\neg i}=y_{\neg i}\right)

Propriétés[modifier | modifier le code]

  • Si Ω est fini, la transition P est positive strictement et la vitesse de convergence de νPk est exponentielle.
  • π peut être connu à un facteur multiplicatif près.

Voir aussi[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

Document utilisé pour la rédaction de l’article : document utilisé comme source pour la rédaction de cet article.

Document utilisé pour la rédaction de l’article C. Gaetan et X. Guyon, « Simulation des modèles spatiaux », dans Jean-Jacques Droesbeke, Michel Lejeune et Gilbert Saporta, Analyse statistique des données spatiales : 10e Journées d'étude en statistique, 4-8 novembre 2002, Marseille, Société française de statistique, Paris, Technip,‎ 2006, 468 p. (ISBN 978-2-7108-0873-2, notice BnF no FRBNF40225776), chap. 9