Variance (statistiques et probabilités)

Pour les articles homonymes, voir Variance.

En théorie des probabilités et en statistique, la variance est une mesure servant à caractériser la dispersion d'une distribution ou d'un échantillon. C'est un des moments caractéristiques d'une distribution qui peut être interprété comme un moment d'inertie.

Définition

Soit X une variable aléatoire réelle dont le moment d'ordre 2, à savoir $\mathbb{E}\left(X^2\right)$, existe. On définit la variance par

$\operatorname{Var}(X)\equiv V(X) \,\stackrel{\text{def}}{=}\, \mathbb{E}\left[(X-\mathbb{E}[X])^2\right].$

$\scriptstyle \mathbb{E}[\,\cdot\,]$ étant l'espérance mathématique ; l'existence du moment d'ordre 2 implique celle de $\scriptstyle \mathbb{E}[X]$.

On peut interpréter la variance comme la moyenne des carrés des écarts à la moyenne (rigoureusement : l'espérance des carrés des écarts à l'espérance, informellement : moyenne des carrés moins le carré de la moyenne). Elle permet de caractériser la dispersion des valeurs par rapport à la moyenne. Ainsi, une distribution avec une même espérance et une variance plus grande apparaîtra comme plus étalée. Le fait que l'on prenne le carré de ces écarts à la moyenne évite que des écarts positifs et négatifs ne s'annulent. On note souvent la variance d'une distribution par $\sigma^2_X$ et celle d'un échantillon par S².

Histoire

Ronald Fisher employa, le premier, le mot de variance, dans un article de 1918 intitulé « The Correlation between Relatives on the Supposition of Mendelian Inheritance » où il définit la variance comme le carré de l'écart type. Dans ce document il préfère clairement la variance à l'écart type en tant que mesure de la variabilité d'un phénomène observé. Il utilise ce terme à nouveau au congrès de mathématiques de Toronto en 1924. C'est lui qui définit aussi l'analyse de la variance telle qu'on la pratique aujourd'hui dans son livre « Statistical methods for research workers » paru en 1925.

Propriétés

La variance est toujours positive ou nulle. Lorsque la variance est nulle, cela signifie que la variable aléatoire correspond à une constante (toutes les réalisations sont identiques). Une formule alternative de calcul de la variance est déduite de la définition :

$\operatorname{Var}(X)=\mathbb{E}\left[X^2\right]-\mathbb{E}[X]^2$

Cette formule stipule que la variance est égale à l'espérance du carré de X moins le carré de l'espérance de X. La formule permet souvent un calcul plus simple de la variance que la définition. Sa démonstration est faite dans le théorème de König-Huyghens. La variance d'une transformation affine est égale à

$\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X)$

On remarque à travers cette propriété que le fait de déplacer simplement une distribution (ajouter +b) ne modifie pas sa variance. Par contre, changer l'échelle (multiplier par a) modifie la variance quadratiquement. Cette propriété permet également de confirmer la remarque établie précédemment que la variance d'une constante est nulle, en effet,ic, $\scriptstyle \operatorname{Var}(b)= 0$.

La variance de la somme de deux variables aléatoires est calculée ainsi : Si $\scriptstyle \operatorname{cov}(X,Y)$ désigne la covariance des variables aléatoires $\scriptstyle X$ et $\scriptstyle Y$, alors:

$\operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2\operatorname{cov}(X,Y)$

Grâce aux deux propriétés précédentes, on obtient immédiatement la généralisation suivante : $\scriptstyle \operatorname{Var}(aX+bY) = a^2\operatorname{Var}(X) + b^2\operatorname{Var}(Y) + 2ab\operatorname{cov}(X,Y)$ La variance de la somme de deux variables indépendantes (et plus généralement non corrélées) vaut donc $\scriptstyle \operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$ mais la réciproque est fausse. Il faut faire attention au fait que $\scriptstyle \operatorname{Var}(X-Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$  ! Même si les variables sont soustraites, leurs variances s'additionnent.

La covariance est une forme bilinéaire symétrique positive sur l'espace vectoriel $L^2(\Omega, \mathcal{B}, \mathbb{P})$ des variables aléatoires de carré intégrable, et la forme quadratique associée est la variance. Ce qui permet de généraliser le cas de deux variables à celui-ci:

$\operatorname{var}\left(\sum_{i=1}^n{X_i}\right) = \sum_{i=1}^n\operatorname{var}(X_i) + 2\sum_{1\le i<j\le n}\operatorname{cov}(X_i,X_j)$

De plus,

$\operatorname{var}\left(\sum_{i=1}^n{a_i\,X_i}\right) = \sum_{i=1}^na_i^2\,\operatorname{var}(X_i) + 2\sum_{1\le i<j\le n}\,a_ia_j\,\operatorname{cov}(X_i,X_j)$ $= \sum_{i=1}^n\sum_{j=1}^na_ia_j\operatorname{cov}(X_i,X_j)$

Si $(X_i)_{1 \leq i \leq n}$ est une suite de variables aléatoires indépendantes et de même variance $\sigma^2$ et si $\overline{X}=\frac{1}{n}\sum_{i=1}^n X_i$ est la moyenne de ces variables alors,

$\operatorname{Var}\left(\overline{X}\right) = \frac{\sigma^2}{n}$

La variance d'un produit de deux variables aléatoires indépendantes X et Y de variances finies est exprimée en fonction de celles des deux variables par la formule

$\operatorname{Var}(XY) = \operatorname{Var}(X) \operatorname{Var}(Y) + \operatorname{Var}(X) (\operatorname{E}(Y))^2 + \operatorname{Var}(Y) (\operatorname{E}(X))^2$

Écart type

Article détaillé : écart type.

L'écart type est la racine carrée de la variance.

$\sigma_X = \sqrt{\operatorname{Var}(X)}$

Son atout est qu'il est de même dimension que la variable aléatoire.

Si $(X_i)_{1 \leq i \leq n}$ est une suite de variables aléatoires

$\sigma \left(\sum_{i=1}^{n} X_i\right) \leqslant \sum_{i=1}^{n} \sigma (X_i)$.

L'égalité intervient si et seulement si toutes les variables sont identiques à un coefficient multiplicatif positif près.

Cas discret

La variance V(X) représente la moyenne des carrés des écarts à la moyenne : elle permet de caractériser, tout comme l'écart type, la dispersion des valeurs $x_i$ par rapport à la moyenne, notée $\overline {x},$ ou encore E(X).

Soit une série statistique $(x_i, n_i)_{i = 1 \cdots k}$ de moyenne $\overline{x}$ et d'effectif total n (c’est-à-dire $n=\sum_{i=1}^k n_i$ et $p_i=\frac{n_i}{n}$).

La variance de cette série est alors :

$V(X)=\sum_{i=1}^k p_i(x_i-\overline{x})^2$

Simplification

La moyenne peut être considérée comme le barycentre de la série.

D'après le théorème de König, on a : $\operatorname{Var}(X)=\sum_{i=1}^kp_i(x_i^2)-\overline{x}^2$

Démonstration

$\operatorname{Var}(X)=\sum_{i=1}^k p_i(x_i-\overline{x})^2$

$\operatorname{Var}(X)=\sum_{i=1}^k p_i(x_i^2-2x_i\overline{x}+\overline{x}^2)$

$\operatorname{Var}(X)=\sum_{i=1}^k p_ix_i^2-2\overline{x}\sum_{i=1}^k p_ix_i+\sum_{i=1}^k p_i\overline{x}^2$

$\operatorname{Var}(X)=\sum_{i=1}^k p_ix_i^2-2\overline{x}\sum_{i=1}^k p_ix_i+\overline{x}^2\sum_{i=1}^k p_i$

Or, $\sum_{i=1}^k p_i=1,$ et $\sum_{i=1}^k p_ix_i=\overline{x},$ donc on a :

$V(X)=\sum_{i=1}^k p_ix_i^2-\overline{x}^2$

Équiprobabilité

Dans le cas d'équiprobabilité,

$V(X) = \frac1k\sum_{i=1}^k(x_i-\bar x)^2 = \frac1k\sum_{i=1}^k x_i^2 - \bar x^2$

Cas continu

Dans le cas continu, la variance se calcule de la façon suivante :

$V(X)= \int_\mathbb R x^2 f(x) \mathrm dx - \left( \int_\mathbb R x f(x) \mathrm dx \right)^2$

Variance d'un vecteur aléatoire

Si l'on définit $X_{k\times 1}$ comme un vecteur aléatoire qui comporte k variables et $\Mu$ comme le vecteur des k espérances de X, on définit alors la variance comme:

Définition — $\Sigma_{k\times k} \equiv \operatorname{Var}[X_{k\times 1}]\equiv \mathbb{E}\left[(X_{k\times 1}-\Mu)(X_{k\times 1}-\Mu)'\right]$

Il s'agit alors d'une matrice carrée de taille k, appelée matrice de variance-covariance, qui comporte sur sa diagonale les variances de chaque composante du vecteur aléatoire et en dehors de la diagonale les covariances. Cette matrice est symétrique et semi-définie positive ; elle est définie positive si et seulement si la seule combinaison linéaire certaine (c'est-à-dire presque sûrement constante) des composantes du vecteur aléatoire est celle dont tous les coefficients sont nuls.

On a les propriétés suivantes:

Propriété — Si V est une matrice carrée de taille $k, \operatorname{Var}[V_{k\times k}X_{k\times 1}]=V\operatorname{Var}[X]V'$

Estimation

Deux estimateurs sont généralement utilisés pour la variance:

$s_n^2 = \frac 1n \sum_{i=1}^n \left(y_i - \overline{y} \right)^ 2 = \left(\frac{1}{n} \sum_{i=1}^{n}y_i^2\right) - \overline{y}^2,$

et

$s^2_{n-1} = \frac{1}{n-1} \sum_{i=1}^n\left(y_i - \overline{y} \right)^ 2 = \frac{1}{n-1}\sum_{i=1}^n y_i^2 - \frac{n}{n-1} \overline{y}^2,$

Propriétés

Biais

• L'estimateur $s^2_{n}$ est biaisé: $E(s^2_{n})=\frac{n-1}{n} \sigma^2$

Démonstration

L'estimateur $s^2_{n}$ est:

$\begin{align} s^2_{n} &\equiv\frac{1}{n} \sum_{i=1}^n \left( x_i - \overline{x}\right)^2 \\ & = \left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - \overline{x}^2 \end{align}$.

La deuxième égalité s'obtient d'après le théorème de König-Huyghens.

Nous allons calculer l'espérance de l'estimateur d'après la deuxième formule:

$E(s^2_{n}) = E\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - E(\overline{x}^2)$.

Il faut donc étudier l'espérance des deux termes, on verra que:

• $E\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right)=E(X)^2+V(X)$

Démonstration

$E\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right)=\frac{1}{n}E(\sum_{i=1}^n x_i^2)=\frac{1}{n}\sum_{i=1}^n E(x_i^2)=\frac{1}{n}n E(x_i^2)=E(x_i^2)$.

On a supposé que tous les réalisations ont la même espérance: $E(x_i)=E(X)$ En appliquant de nouveau la formule de König-Huyghens: $E(x_i^2)=E(X^2)= E(X)^2 +V(X)$.

• $E(\overline{x}^2)=E(X)^2+\frac{1}{n}V(X)$

Démonstration

Etudions au préalable l'espérance et la variance de la moyenne:

La moyenne $\overline{x}=\frac{1}{n}\sum_{i=1}^n x_i$ de l'échantillon est une variable aléatoire (si on change les individus alors $\overline{x}$ varie):

-d'espérance $E(\overline{x}) = E(X)$

-de variance: $V(\overline{x})=\frac{1}{n} \cdot V(X)$ (la moyenne de n variables aléatoires fluctue moins qu'une seule variable aléatoire)

En appliquant de nouveau la formule de König-Huyghens:$E(\overline{x}^2)=E(\overline{x})^2+V(\overline{x})=E(X)^2+\frac{1}{n}V(X)$.

On a donc $E(s^2_{n}) = E(X)^2+V(X) - E(X)^2-\frac{1}{n}V(X)=\frac{n-1}{n}V(X)$.

La variance s de l'échantillon fluctue donc autour de $\frac{n-1}{n}V(X)$ et non autour de V(X) comme on aurait pu s'y attendre.

• L'estimateur $s^2_{n-1}$ est sans biais.

Démonstration — En effet, il suffit de corriger l'estimateur $s^2_{n}$ en le multipliant par $\frac{n}{n-1}$ pour avoir un estimateur sans biais: $E\left[\frac{n}{n-1} s^2_{n}\right]= \frac{n}{n-1} E[s^2_{n}]=\frac{n}{n-1} \frac{n-1}{n}\sigma^2=\sigma^2$

Pourquoi n-1 ?

Le fait que l'estimateur de la variance doive être divisé par n-1 (et donc dans un certain sens moins précis) pour être sans biais provient du fait que l'estimation de la variance implique l'estimation d'un paramètre en plus, l'espérance. Cette correction tient donc compte du fait que l'estimation de l'espérance induit une incertitude de plus. En effet:

Théorème — si l'on suppose que l'espérance est connue, l'estimateur $S^2_{n}$ est sans biais

Démonstration

en reprenant la démonstration du biais de $S^2_{n}$ lorsque l'espérance est inconnue, on avait montré que: $E(s^2_{n}) = E\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - E(\overline{x}^2)$. Puis calculé que:

• $E\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right)=E(X)^2+V(X)$
• $E(\overline{x}^2)=E(X)^2+\frac{1}{n}V(X)$

Cependant, le deuxième calcul est désormais différent: $E[X]$ étant connu, on pose que $E[X]=\mu$ et on a: $E[\mu^2]=E[\mu]^2$

Donc on a directement: $E(\overline{x}^2)=E(X)^2$.

La formule devient alors: $E(s^2_{n}) = E(X)^2+V(X)- E(X)^2=V(X)$

Convergence

Les estimateurs $s^2_{n}$ et $s^2_{n-1}$ sont convergents en probabilité.

Théorème — $s^2_{n}$ et $s^2_{n-1} \quad \xrightarrow{p} \quad \sigma^2$ si les observations sont iid $(\mu, \sigma^2)$.

Démonstration

Réecrivons l'estimateur:

$s_n^2 = \frac 1n \sum_{i=1}^n \left(y_i - \overline{y} \right)^ 2=\left(\frac{1}{n} \sum_{i=1}^{n}y_i^2\right) - \overline{y}^2$

Et étudions la convergence des termes séparément:

• $\overline{y}^2 \xrightarrow{p} \quad \mu^2$ par le théorème de Slutsky.
• $\frac 1n \sum_{i=1}^n \left(y_i - \overline{y} \right)^ 2 \xrightarrow{p} \quad \operatorname{E}[x^2]= \mu^2+\sigma^2$ par la loi des grands nombres.

Alors $s_n^2 \quad \xrightarrow{p} \quad \mu^2+\sigma^2-\mu^2 = \sigma^2$

Comme ce résultat est asymptotique, il s'applique également à $s^2_{n-1}$, qui est asymptotiquement équivalent à $s^2_{n}$

Distribution des estimateurs

En tant que fonction de variables aléatoires, l'estimateur de la variance est également une variable aléatoire. Sous l'hypothèse que les $y_i$ sont des observations indépendantes d'une loi normale, le théorème de Cochran (en) montre que $s^2_{n-1}$ suit une loi du χ²:

$(n-1)\frac{s^2_{n-1}}{\sigma^2}\sim\chi^2_{n-1}.$

En conséquence, il suit que $\operatorname{E}(s^2_{n-1})=\sigma^2.$. Cette propriété d'absence de biais peut cependant être démontrée même sans l'hypothèse de normalité des observations.

Méthodes de calcul

Le calcul par ordinateur de la variance empirique peut poser certains problèmes, notamment à cause de la somme des carrés. La page anglaise: Algorithms for calculating variance décrit le problème ainsi que des algorithmes proposés.

Voir aussi

Bibliographie

• (fr) Gilbert Saporta, Probabilités, Analyse des données et Statistiques, Paris, Éditions Technip, 2006, 622 p. (ISBN 978-2-7108-0814-5) [lire en ligne]  [détail des éditions].
• (fr) Olivier Rioul, Théorie des probabilités, Paris, Editions Hermes sciences, 2008, 364 p. (ISBN 978-2-7462-1720-1) .
• (en) Yadolah Dodge, « The Concise Encyclopaedia of Statistics », New York, Springer, 2010, 622 p. (ISBN 978-0-387-31742-7) .

Articles connexes

• Écart type
• Covariance
• Analyse de la variance
• Mesures secondaires
• Valeur absolue des écarts

Lien externe

• Eric W. Weisstein, « Variance », MathWorld--A Wolfram Web Resource. Consulté le 25 Avril 2012
• Calcul en ligne de la variance, Calculis