Réduction de la variance

La réduction de la variance regroupe l'ensemble des techniques, plus ou moins simples, qui permettent de réduire la variance des estimateurs de Monte-Carlo.

Méthodes de réduction de la variance

• Variable antithétique : on introduit une seconde variable aléatoire très fortement négativement corrélée avec la première, permettant de réduire la variance. L'élément clef est la formule suivante, valable pour deux variables $X,Y$:

$\operatorname {Var} (X+Y)=\operatorname {Var} (X)+\operatorname {Var} (Y)+2\operatorname {Cov} (X,Y)$

• Variable de contrôle : on introduit une variable tierce, dite variable de contrôle, et on construit une nouvelle classe d'estimateurs, dépendant d'un paramètre c. On cherche la valeur du paramètre c permettant de réaliser une réduction de variance, par rapport à l'estimation Monte-Carlo de base ;

• L'échantillonnage préférentiel (ou importance sampling en anglais) : lors du tirage de données aléatoires, certaines valeurs ont plus d'importance que d'autres dans l'évaluation de l'espérance/intégrale. L'idée est donc d'abandonner l'échantillonnage uniforme (selon la loi uniforme continue) pour un échantillonnage selon une autre loi, plus appropriée.

• Le conditionnement statistique : en partant de la formule de la variance totale

$\operatorname {Var} (X)=\mathbb {E} \left[\operatorname {Var} (X|Z)\right]+\operatorname {Var} \left[\mathbb {E} (X|Z)\right]$

on peut en déduire que, pour une variable Z bien choisie, on a un meilleur estimateur en utilisant $\mathbb {E} (X|Z)$ plutôt que $\mathbb {E} (X)$, en effet, on aurait dans ce cas une espérance égale (par le théorème de l'espérance totale) mais une variance moindre :

$\mathbb {E} \left[\mathbb {E} (X|Z)\right]=\mathbb {E} (X)\quad {\text{ et }}\quad \operatorname {Var} \left[\mathbb {E} (X|Z)\right]\leqslant \operatorname {Var} (X)$

• La stratification : on partitionne le domaine d'intégration en sous-domaines, et on introduit les lois de probabilités conditionnelles selon le sous-domaine, en cherchant à minimiser la variance induite

Exemples

Illustration de méthodes de réduction de la variance sur le problème de Monte-Carlo de la surface du cercle : la méthode de Monte-Carlo classique (en bleu) converge moins vite que la méthode avec conditionnement statistique (vert), elle-même plus lente que celle avec conditionnement et variable antithétique (brun)

On considère U₁ et U₂ deux variables aléatoires iid suivant une loi uniforme sur [0 ; 1], dont on déduit V₁ = 2U₁ – 1, V₂ = 2U₂ – 1, qui sont alors iid suivant une loi uniforme sur [–1 ; 1], et on pose enfin la variable X la variable qui vaut 1 si le couple (V₁,V₂) est dans le cercle centré en (0 ; 0) et de rayon 1, et 0 sinon. Alors :

$\mathbb {E} (X)={\frac {{\mathcal {A}}_{\text{cercle}}}{{\mathcal {A}}_{\text{carré}}}}={\frac {\pi }{4}}.$

Une façon de réduire la variance est d'utiliser le conditionnement par V₁. En effet,

$\mathbb {E} (X\mid V_{1})=\mathbb {P} (V_{1}^{2}+V_{2}^{2}\leqslant 1\mid V_{1})=\mathbb {P} \left(|V_{2}|\leqslant {\sqrt {1-V_{1}^{2}}}\right)=\mathbb {E} \left({\sqrt {1-V_{1}^{2}}}\right).$

d'où :

${\begin{aligned}\mathbb {E} (X)&=&\mathbb {E} \left[\mathbb {E} (X\mid V_{1})\right]&=&\mathbb {E} ({\sqrt {1-V_{1}^{2}}})\\&=&\int _{-1}^{1}{\sqrt {1-v^{2}}}\times {\frac {1}{2}}\,\mathrm {d} v&=&\int _{0}^{1}{\sqrt {1-u^{2}}}\,\mathrm {d} u\\&=&\mathbb {E} ({\sqrt {1-U^{2}}}),\ u\sim {\mathcal {U}}([0;1]).\end{aligned}}$

Ainsi, pour estimer la valeur de π/4, on peut préférer effectuer une série de n tirages uniformes U₍₁₎, ... , U_(n) et calculer ${\textstyle {\frac {{\sqrt {1-U_{(1)}^{2}}}+\ldots +{\sqrt {1-U_{(n)}^{2}}}}{n}}}$, plutôt que la méthode de Monte-Carlo intuitive, qui consiste en un tirage de couples de variables uniformes. Dans cet exemple, on peut même remarquer que ${\textstyle x\mapsto {\sqrt {1-x^{2}}}}$ est paire, donc on peut le cumuler avec un tirage antithétique, qui permet encore de diviser par 2 le nombre de tirages.

Références

• (en) Sheldon Ross, A First Course in Probability, 8, 2002, 449-453 p. (lire en ligne)