Régression linéaire

Pour les articles homonymes, voir Régression.

En statistiques et en économétrie, un modèle de régression linéaire est un modèle de régression d'une variable expliquée sur une ou plusieurs variables explicatives dans lequel on fait l'hypothèse que la fonction qui relie les variables explicatives à la variable expliquée est linéaire dans ses paramètres.

Formellement, on modèlise la relation entre une variable aléatoire y et un vecteur de variables aléatoires x. De manière générale, le modèle linéaire peut s'écrire de la manière suivante :

$y = \beta_0 + \beta_1 x_1 + \ldots + \beta_K x_K + u$

y désigne la variable expliquée. Le vecteur x désigne l'ensemble des variables explicatives : $(x_1,x_2,\ldots,x_K)$. u désigne le terme d'erreur. Il est parfois appelé perturbation.

On suppose qu'on dispose de données sur les variables $y, x_1, x_2, \ldots, x_K$. On cherche à estimer le vecteur $\beta$ des paramètres : $(\beta_0,\beta_1, \ldots , \beta_K)$. La régression est dite linéaire parce qu'elle impose une forme fonctionnelle linéaire dans les paramètres du modèle.

On parle aussi de modèle linéaire ou de modèle de régression linéaire.

En général, le modèle de régression linéaire désigne un modèle dans lequel l'espérance conditionnelle de y sachant x est une transformation affine de x. Cependant, on peut aussi considérer des modèles dans lesquels c'est la médiane conditionnelle de y sachant x ou n'importe quel quantile de la distribution de y sachant x qui est une transformation affine de x.

Le modèle de régression linéaire est souvent estimé par la méthode des moindres carrés mais il existe aussi de nombreuses autres méthodes pour estimer ce modèle. On peut par exemple estimer le modèle par maximum de vraisemblance ou encore par inférence bayésienne.

Bien qu'ils soient souvent présentés ensemble le modèle linéaire et la méthode des moindres carrés ne désignent pas la même chose. Le modèle linéaire désigne une classe de modèles qui peuvent être estimés par un grand nombre de méthodes et la méthode des moindres carrés désigne une méthode d'estimation. Elle peut être utilisée pour estimer différents types de modèles.

Histoire

fig.01 - Régression linéaire effectuée sur les données de F. Galton d'après l'exemple extrait du jeu de données Histdata pour GNU R.

Ruđer Josip Bošković est le premier scientifique à calculer les coefficients de régression linéaire, en 1755-1757, quand il entreprit de mesurer la longueur de cinq méridiens terrestres en minimisant la somme des valeurs absolues. Pierre-Simon de Laplace utilise cette méthode pour mesurer les méridiens dans « Sur les degrés mesurés des méridiens et sur les longueurs observées sur pendule » en 1789. La première utilisation de la méthode des moindres carrés est attribuée à Adrien-Marie Legendre en 1805 ou à Carl Friedrich Gauss qui dit l'avoir utilisée à partir de 1795.

Carl Gauss démontre, en 1821, le théorème connu aujourd'hui sous le nom de théorème de Gauss-Markov qui exprime sous certaines conditions la qualité des estimateurs, Andrei Markov le redécouvre en 1900.

C'est à Francis Galton qu'est accordée la pérennité de l'expression « régression linéaire » en 1886. Dans son article, Galton exprime la taille des fils en fonction de la taille des pères. Il constate un phénomène de « régression vers la moyenne ».

Plus tard la colinéarité des variables explicatives est devenue un sujet de recherche important. En 1970, Arthur E. Hoerl et Robert W. Kennard proposent la Régression pseudo-orthogonale (Ridge Regression), une des méthodes d'estimation conçues pour pallier la présence de colinéarité de certaines variables explicatives en imposant des contraintes sur les coefficients. La méthode du lasso (Lasso Regression), ayant le même objectif en utilisant une technique analogue, a été créée en 1996 par Robert Tibshirani. Avec les méthodes de régression sur composantes (régression des moindres carrés partiels (PLS) et régression sur composantes principales), les algorithmes recherchent des variables explicatives indépendantes liées aux variables initiales, puis estiment les coefficients de régression sur les nouvelles variables.

Applications

Le modèle de régression linéaire a de nombreuses applications pratiques. Il permet notamment de faire des analyses de prédiction. Après avoir estimé un modèle de régression linéaire, on peut prédire quel serait le niveau de y pour des valeurs particulières de x.

Il permet également d'estimer l'effet d'une variable sur une autre en contrôlant par d'autres facteurs. Par exemple, dans le domaine des sciences de l'éducation, on peut évaluer l'effet de la taille des classes sur les performances scolaires des enfants en contrôlant par la catégorie socio-professionnelle des parents ou par l'emplacement géographique de l'établissement.

En métrologie

Un certain nombre de phénomènes — physiques, biologiques, économiques… — peuvent se modéliser par une loi affine, de type :

y = ƒ_{a0, a1…, an}(x₁, …, x_n ) = a₀ + a₁·x₁ + … + a_n·x_n

Les paramètres de cette loi, c'est-à-dire les coefficients a_i, permettent de caractériser le phénomène. On effectue donc des mesures, c'est-à-dire que l'on détermine des n+1-uplets (x₁, …, x_n, y).

Une mesure est nécessairement entachée d'erreur. C'est cette erreur qui « crée » le résidu r : chaque n+1-uplet j fournit une équation

y_j = ƒ_{a0, a1, …, an}(x_{1, j}, …, x_{n, j} ) = a₀ + a₁·x_{1, j} + … + a_n·x_{n, j} + r_j

La régression linéaire permet de déterminer les paramètres du modèle, en réduisant l'influence de l'erreur.

Par exemple, en électricité, un dipôle passif (résisteur) suit la loi d'Ohm :

U = RI

ou, pour reprendre la notation précédente,

• y = U,
• x = I,
• ƒ_R(x) = 0 + R·x.

En mesurant plusieurs valeurs de couple (U, I), on peut déterminer la résistance R par régression.

En économétrie

Le modèle linéaire est très utilisé en économétrie. Il est présenté dans de très nombreux manuels d'économie.

Dans leur manuel Colin Cameron et Pravin Trivedi donnent l'exemple de l'évaluation des rendements de l'éducation. On cherche à évaluer l'effet d'une année d'éducation supplémentaire sur le salaire qu'un individu obtient sur le marché du travail. Pour cela, il est courant d'écrire le log du salaire comme une fonction linéaire du nombre d'années d'éducation et d'un certain nombre de facteurs observables ayant une influence potentielle sur le salaire, par exemple le nombre d'année d'expérience sur le marché du travail, le fait d'être une femme, etc. Dans ce cas, le modèle peut alors s'écrire :

$\log w_i = \alpha_0 + \alpha_1 \text{education}_i + \alpha_2 \text{experience}_i + \alpha_3 \text{femme}_i + u_i$

avec $w_i$ le salaire de l'individu i, $\text{education}_i$ le nombre d'années d'éducation de l'individu i, $\text{experience}_i$ le nombre d'années d'expérience sur le marché du travail de l'individu i, $\text{femme}_i$ une variable indicatrice valant 1 si i est une femme et 0 sinon et $u_i$ une variable aléatoire représentant l'ensemble des variables non observées dans les données pouvant expliquer le salaire de l'individu i. On trouve de nombreux exemples dans la littérature économique :

• En économie de l'éducation, Joshua Angrist et Victor Lavy utilisent un modèle linéaire pour estimer l'effet causal de la taille des classes sur les performances scolaires des élèves
• Gregory Mankiw, David Romer et David Weil utilisent un modèle linéaire pour tester empiriquement la pertinence du modèle de Solow.
• Steven Levitt utilise un modèle linéaire pour estimer l'effet du nombre de policiers sur la criminalité.
• Daron Acemoglu, Simon Johnson et James Robinson utilisent une régression linéaire pour estimer l'effet des institutions sur le développement actuel des pays.
• Jonathan Gruber et Daniel Hungerman utilisent un modèle linéaire pour analyser sur données américaines l'effet des lois autorisant le travail le dimanche sur la participation religieuse.

En sciences politiques

Andrew Gelman et Gary King utilisent un modèle linéaire pour estimer l'avantage des candidats sortants lors des élections à la chambre des représentants des États-Unis.

En France, l'analyse des scrutins de 1993 et 1997 au niveau national et au niveau local par Jean Chiche, utilisant la régression linéaire, montre que l'effet balancier droite modérée - PS n'est pas clairement établi contrairement à ce pouvait laisser penser les résultats. Des transferts de voix de la gauche modérée vers le PC, et de la droite modérée vers l'extrême droite (et réciproquement) ont eu lieu. De même Bernard Dolez explique le scrutin européen de 1999 en utilisant plusieurs fois la régression linéaire multiple.

En sociologie

La structure sociale européenne est analysée, par exemple, à l'aide de la régression linéaire entre l'écart type du niveau de revenu et celui du niveau d'éducation . Patrick Peretti-Watel utilise la régression linéaire pour évaluer l'estime de soi en fonction du niveau de consommation de cannabis, de l'age et du sexe , et Alain Degenne, Marie-Odile Lebeaux , et Catherine Marry, qui se demandent comment s'organisent les personnes dont la vie est occupée par de multiples activités, emploient la régression linéaire multiple pour exprimer des réponses .

En psychologie

Philippe Guimard, Olivier Cosnefroy et Agnès Florin analysent l'évaluation des élèves de l'école primaire par les enseignants en exploitant le modèle linéaire en vue d'apprécier le pouvoir prédictif de ces évaluations.

En géographie

L'étude de la pluviométrie en fonction de l'altitude dans les Alpes du Nord effectuée par C.Castellani montre les relations linéaires existantes entre ces deux grandeurs sur des sites différents. Nicole Commerçon exploite plusieurs fois le modèle linéaire pour décrire la présence des résidences secondaires dans le Mâconnais.

En géostatistique, Yann Richard et Christine Tobelem Zanin, utilisent la régression linéaire multiple pour décrire la régionalisation des échanges entre la Russie et l'Union européenne.

En mécanique

Une pièce réelle comporte forcément des défauts par rapport au plan, sa version idéale. Or, la rectitude et l'orientation d'une arête, la planéité et l'orientation d'une face peuvent être importantes, par exemple s'il s'agit de contacts avec d'autres pièces.

Articles détaillés : Tolérance géométrique et Mise en position.

Pour quantifier les défauts, on peut faire un relevé de points par la méthode dite de la métrologie par coordonnées. On obtient donc un ensemble de coordonnées (x_i, y_i, z_i). Ces coordonnées peuvent aussi provenir d'un calcul de déformation par éléments finis : on a une structure supposée parfaite qui se déforme de manière élastique sous l'effet de charges, et l'on veut vérifier que cette déformation reste compatible avec la fonction de la structure.

Article détaillé : État limite en service.

Pour une arête, une régression linéaire permet d'obtenir la direction moyenne d'une arête, et donc de vérifier si cette direction est suffisamment proche de la direction idéale, et de quantifier les écarts de rectitude. De même, pour une face, une régression linéaire permet de déterminer le plan moyen, et donc de vérifier si son orientation est suffisamment proche de l'orientation idéale, et de quantifier l'état de surface (R_A).

Application à des modèles non linéaires

Dans certains cas, on peut ajuster un modèle non linéaire en effectuant un changement de variable. Par exemple, si l'on a un modèle parabolique

$y \propto \sqrt{x}$

il suffit de considérer $x' = \sqrt{x}$ et de faire la régression sur (x', y). Par exemple, lorsque l'on s'intéresse à l'oxydation à haute température d'un métal formant un oxyde protecteur, une étude théorique prédit que la prise de masse a un comportement parabolique en fonction du temps (loi d'oxydation de Wagner), Δm α √t. On peut mesurer cette prise de masse par thermogravimétrie, mais le système qui mesure de très faibles variations de masse (de l'ordre du microgramme) est très sensible aux perturbations, ce qui génère du bruit. La régression linéaire avec x = √t et y = Δm permet de caractériser la cinétique d'oxydation.

De fait, pour une loi en puissance de x — y α xⁿ où n est un nombre réel —, on peut poser x' = xⁿ. Et de manière encore plus générale, si le modèle fait intervenir une fonction ƒ élémentaire dans une formule affine

y = a + b·ƒ(x)

on peut alors faire le changement de variable x' = ƒ(x) pour avoir une relation affine

y = a + b·x'.

On peut parfois linéariser la relation en se plaçant en diagramme logartihmique :

si y = axⁿ, alors ln(y) = ln(a) + n·ln(x)

donc le changement de variable x' = ln(x) et y' = ln(y) donne une relation affine

y' = a' + n·x'.

La transformation peut être plus complexe. Par exemple, si une variable aléatoire suit une loi de Weibull, alors on peut se ramener à un diagramme linéaire à partir de relevés de probabilités y = P(x) :

• en considérant les probabilités cumulées : la fonction de répartition vaut $\mathrm{F}(x) = 1 - \operatorname{e}^{-(x/\lambda)^k}$ ;
• en effectuant le changement de variable x' = ln(x) et y' = ln(-ln(1 - F)), on a alors $y' = k(\ln x - \ln \lambda) = kx' - k \ln \lambda$ ;

la régression linéaire permet alors de déterminer les valeurs de k et de λ.

Dans certains cas, on peut linéariser en se plaçant dans un espace de dimension supérieur. Si l'on est dans un espace à deux dimensions (x, y) et que l'on veut ajuster un modèle polynomial de degré n,

ƒ_{a0, a1, …, an}(x) = a₀ + a₁x + … + a_nxⁿ

on peut définir les variables

x_i = xⁱ

et effectuer une régression avec le modèle linéaire, la variable explicative étant le vecteur (x₁, …, x_n) :

g_{a0, a1, …, an}(x₁, …, x_n) = a₀ + a₁x₁ + … + a_nx_n.

Article détaillé : régression polynomiale.

Dans le même ordre d'idées, si le modèle est un cercle, d'équation cartésienne

(x - x_c)² + (y - y_c)² = r² ;

on peut définir les variables

y₁ = x² + y² ;

x₁ = x ;

x₂ = y ;

et effectuer une régression avec le modèle linéaire, la variable expliquée étant y₁ et la variable explicative étant le vecteur (x₁, x₂) :

ƒ_{a0, a1, a2}(x₁, x₂) = a₀ + a₁x₁ + a₂x₂

et déduire x_c, y_c et r de

a₁ = 2x_c ;

a₂ = 2y_c ;

a₀ = r² - x_c² - y_c².

Bien que l'on ait effectué une régression par la méthode des moindres carrés dans l'espace (x₁, x₂, y₁), on n'a pas le résultat que l'on obtiendrait avec une régression par la méthode des moindres carrés dans l'expace (x, y).

Article détaillé : régression circulaire.

Considérons maintenant des positions relevées sur une sphère ; il peut s'agir de localisations géographiques, mais un point d'une sphère de référence (centrée sur l'origine du repère et de rayon 1) peut aussi servir à représenter une orientation (voir Coordonnées sphériques > Utilisation). Une régression sur ces points n'est évidemment pas linéaire.

En projection gnomonique, un grand cercle (orthodromie) est représenté par une droite. Si l'on veut trouver la « meilleure orthodromie » pour un jeu de points — par exemple trouver l'orbite d'un satellite devant survoler au plus près un ensemble de sites —, on peut donc effectuer une régression linéaire sur la représentation gnomonique.

Modèle linéaire simple

Modèle de régression linéaire simple

On appelle généralement modèle linéaire simple un modèle de régression linéaire avec une seule variable explicative. Ce modèle est souvent présenté dans les manuels de statistiques à des fins pédagogiques.

Il a par ailleurs de nombreuses applications directes : il existe de nombreuses lois affines liant deux paramètres. Par ailleurs, pour une loi reliant plus de paramètres, lorsque l'on peut maîtriser des paramètres (comme c'est le cas en physique expérimentale), on étudie fréquemment l'influence d'un seul paramètre sur une quantité, influence qui peut parfois être modélisée par une loi affine. Ainsi, dans l'étude des gaz, la loi de Gay-Lussac est une loi liant de manière affine le volume d'un gaz et sa température, la pression et le nombre de molécules étant maintenus constants ; c'est un cas particulier de la loi des gaz parfaits

$\mathrm{P} \mathrm{V} = n \mathcal{R} \mathrm{T} \Longrightarrow \mathrm{V} = \mathrm{V}_0 (1 + \alpha (\mathrm{T} - \mathrm{T}_0))_{n\ \mathrm{et}\ \mathrm{P}\ \mathrm{constants}}\text{.}$

On a donc deux variables aléatoires, une variable expliquée Y, qui est un scalaire, une variable explicative X, également scalaire. On dispose de n réalisations de ces variables, (x_i)_{1 ≤ i ≤ n} et (y_i)_{1 ≤ i ≤ n}. Le modèle a deux paramètres :

• β₀, l'ordonnée à l'origine ;
• β₁, le coefficient directeur ;

soit

$y_i = \beta_0 + \beta_1 x_i + u_i$

ou u_i est le résidu ; chaque résidu lui-même une réalisation d'une variable aléatoire U_i.

Estimateur des moindres carrés ordinaires

Exemple de régression linéaire simple.

L'estimateur des moindres carrés ordinaires est la solution du programme de minimisation de la somme des carrés des écarts entre les valeurs prédites et les valeurs observées par rapport aux deux paramètres β₀ et β₁ :

$\mathrm{S} = \mathrm{Argmin}_{\beta_0,\beta_1} \sum_{i = 1}^n u_i^2 = \mathrm{Argmin}_{\beta_0,\beta_1} \sum_{i = 1}^n (y_i - \beta_1 \cdot x_i - \beta_0)^2$

On a :

$\hat{\beta}_1 = \frac { \sum x_i \sum y_i - n \sum x_i y_i } { \left ( \sum x_i \right ) ^ 2 - n \sum x_i^2 } = \frac{ \sum (x_i -\bar{x})(y_i-\bar{y} ) }{\sum ( x_i - \bar{x})^2 }$

$\hat{\beta}_0 = \frac { \sum y_i - \hat{\beta}_1 \sum x_i } { n } = \bar{y} - \hat{\beta}_1 \bar{x}$

avec $\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$ la moyenne empirique des $x_i$ et $\bar{y} = \frac{1}{n} \sum_{i=1}^{n} y_i$ la moyenne empirique des $y_i$.

Démonstration

Les valeurs (x_i, y_i) étant fixées, l'estimateur S est une fonction de deux variables, S(β₀, β₁). On recherche son minimum, ses dérivées partielle sont donc nulles.

On a

$u_i^2 = y_i^2 - 2\beta_1 x_i y_i - 2\beta_0 y_i + \beta_1^2 x_i^2 + 2 \beta_0 \beta_1 x_i + \beta_0^2 \text{.}$

En dérivant par rapport aux deux arguments, on obtient :

$\frac{\partial \mathrm{S}}{\partial \beta_0} = 0 \Longrightarrow \sum_{i = 1}^n (-2y_i + 2 \beta_1 x_i + 2 \beta_0) = 0$

$\frac{\partial \mathrm{S}}{\partial \beta_1} = 0 \Longrightarrow \sum_{i = 1}^n (-2x_i y_i + 2\beta_1 x_i^2 + 2\beta_0 x_i) = 0$

soit

$\left \{ \begin{align} \beta_1 \sum x_i + n \beta_0 - \sum y_i = 0 \\ \beta_1 \sum x_i^2 + \beta_0 \sum x_i - \sum x_i y_i = 0 \end{align} \right .$

et donc

$\hat{\beta}_1 = \frac { \sum x_i \sum y_i - n \sum x_i y_i } { \left ( \sum x_i \right ) ^ 2 - n \sum x_i^2 } = \frac{ \sum (x_i -\bar{x})(y_i-\bar{y} ) }{\sum ( x_i - \bar{x})^2 }$

et

$\hat{\beta}_0 = \frac { \sum y_i - \hat{\beta}_1 \sum x_i } { n } = \bar{y} - \hat{\beta}_1 \bar{x}$

avec $\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$ la moyenne empirique des $x_i$ et $\bar{y} = \frac{1}{n} \sum_{i=1}^{n} y_i$ la moyenne empirique des $y_i$ CQFD.

On peut également exprimer le résultat de la manière suivante :

$\left \{ \begin{align} \hat{\beta}_1 = \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{X})} \\ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} \end{align} \right .$

Démonstration

On remarque que

$\sum (x_i -\bar{x})(y_i-\bar{y}) = n \operatorname{cov}(\mathrm{X}, \mathrm{Y})$ où cov est la covariance empirique ;

$\sum (x_i -\bar{x})^2 = n \operatorname{var}(\mathrm{X})$ où var est la variance ;

on peut donc écrire

$\left \{ \begin{align} \hat{\beta}_1 = \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{X})} \\ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} \end{align} \right .$

CQFD

Notons que du fait de la seconde relation, la droite de régression passe par le barycentre (point moyen) du nuage de points, qui a pour coordonées G(x, y).

Exemple  :

Considérons le dessin ci-dessus. Nous avons quatre points expérimentaux, de coordonnées :

• P₁(1 ; 6) ;
• P₂(2 ; 5) ;
• P₃(3 ; 7) ;
• P₄(4 ; 10).

Nous calculons

$\bar{x} = \frac{1 + 2 + 3 + 4}{4} = 2,5$

$\bar{y} = \frac{6 + 5 + 7 + 10}{4} = 7$

Nous savons donc que la droite de régression passe par le point G(2,5 ; 7). Et donc :

$\operatorname{cov}(\mathrm{X}, \mathrm{Y}) = \frac{(1 - 2,5)(6 - 7) + (2 - 2,5)(5 - 7) + (3 - 2,5)(7 - 7) + (4 - 2,5)(10 - 7)}{4} = \frac{7}{4} = 1,75$

$\operatorname{var}(\mathrm{X}) = \frac{(1 - 2,5)^2 + (2 - 2,5)^2 + (3 - 2,5)^2 + (4 - 2,5)^2}{4} = \frac{5}{4} = 1,25$

$\hat{\beta}_1 = \frac{7}{5} = 1,4$

$\hat{\beta}_0 = 7 - 1,4 \times 2,5 = 3,5$

L'équation de la droite de régression est donc

y = 1,4x + 3,5

Nous pouvons comparer les valeurs expérimentales de y avec les valeurs calculées (sur la droite de régression).

i	x	yexp	ycal	u
1	1	6	4,9	1,1
2	2	5	6,3	-1,3
3	3	7	7,7	-0,7
4	4	10	9,1	0,9

Par ailleurs, si l'on suppose (hypothèses du Théorème de Gauss-Markov, voir ci-après) que les variables aléatoires U_i :

• sont centrées (hypothèse d'exogénéité) : E(U_i) = 0 ;
• ont la même variance (hypothèse d'homoscédasticité) ;
• sont indépendantes (hypothèse de non-corrélation), E(U_iU_j)_{i ≠ j} = 0 ;

alors on a :

$\sum_{i = 1}^n u_i^2 = n(\operatorname{var}(\mathrm{U}) + \bar{u}^2)$

où

• u est la moyenne empirique des U_i, $\textstyle \bar{u} = \frac{1}{n}\sum u_i$ ;
• var est la variance empirique, $\textstyle \operatorname{var}(\mathrm{U}) = \frac{1}{n}\sum(u_i - \bar{u})^2$.

Avec ces hypothèses, les estimateurs $\hat{\beta_0} \text{ et } \hat{\beta_1}$ sont les meilleurs estimateurs sans biais (B.L.U.E.) de β₀ et β₁, dans le sens où ce sont les estimateurs sans biais de plus petite variance.

Coefficient de corrélation linéaire

Le minimum de la somme des carrés des résidus vaut :

$\mathrm{S} = n \frac{\operatorname{var}(\mathrm{X}) \operatorname{var}(\mathrm{Y}) - \operatorname{cov}^2(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{X})}$.

Démonstration

On a donc

$\sum u_i^2 = n (\operatorname{var}(\mathrm{U}) + \bar{u}^2) = n \operatorname{var}(\mathrm{U}) + n\bar{u}^2$

Comme chacun des termes est positif, il faut minimiser chacun des termes. On a

$n \operatorname{var}(\mathrm{U}) = \sum(y_i - \bar{y})^2 - 2 \beta_1 \sum(x_i - \bar{x})(y_i - \bar{y}) + \beta_1^2 \sum(x_i - \bar{x})$

soit

$\operatorname{var}(\mathrm{U}) = \operatorname{var}(\mathrm{X})\cdot \beta_1^2 - 2 \operatorname{cov}(\mathrm{X}, \mathrm{Y})\cdot\beta_1 + \operatorname{var}(\mathrm{Y})$.

Cette définition est similaire à une équation du second degré en β₁. On peut écrire sa forme canonique :

$\begin{align} \operatorname{var}(\mathrm{U})\ & = \operatorname{var}(\mathrm{X}) \left ( \left ( \beta_1 + \frac{- 2 \operatorname{cov}(\mathrm{X}, \mathrm{Y})}{2 \operatorname{var}(\mathrm{X})} \right )^2 - \frac{4 \operatorname{cov}^2(\mathrm{X}, \mathrm{Y}) - 4 \operatorname{var}(\mathrm{X}) \operatorname{var}(\mathrm{Y})}{4 \operatorname{var}^2(\mathrm{X})} \right )\\ & = \operatorname{var}(\mathrm{X}) \left ( \left ( \beta_1 - \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{X})} \right )^2 - \frac{\operatorname{cov}^2(\mathrm{X}, \mathrm{Y}) - \operatorname{var}(\mathrm{X}) \operatorname{var}(\mathrm{Y})}{\operatorname{var}^2(\mathrm{X})} \right ) \end{align}$

qui est minimal pour β₁ = cov(X, Y)/var(X), et avec

$\min \operatorname{var}(\mathrm{U}) = \frac{\operatorname{var}(\mathrm{X}) \operatorname{var}(\mathrm{Y}) - \operatorname{cov}^2(\mathrm{X}, \mathrm{Y})}{\operatorname{var}^2(\mathrm{X})}\text{.}$

Concernant le deuxième terme :

$\bar{u} = \bar{y} - \beta_1 \bar{x} - \beta_0$

donc

$\min \bar{u} = \bar{y} - \hat{\beta}_1 \bar{x} - \hat{\beta}_0 = 0$

donc le minimum de u² est 0, CQFD.

On a :

• var(X) ≠ 0 ;
• var(Y) ≠ 0 ;
• var(X)var(Y) ≥ cov²(X, Y)

donc si l'on pose

$r = \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\sqrt{\operatorname{var}(\mathrm{X}) \operatorname{var}(\mathrm{Y})}}$

on a

-1 ≤ r ≤ 1.

La paramètre r est appelé coefficient de corrélation. On a alors

S = n·var(Y)·(1 - r²)

Exemple  :

En reprenant l'exemple ci-dessus :

$\operatorname{var}(\mathrm{Y}) = \frac{(6 - 7)^2 + (5 - 7)^2 + (7 - 7)^2 + (10 - 7)^2}{4} = \frac{14}{4} = 3,5$

$r = \frac{1,75}{\sqrt{1,25 \times 3,5}} \simeq 0,867$

Nous n'avons donc pas une bonne corrélation. Nous avons en effet volontairement choisi un exemple avec peu de points et une dispersion importante, afn d'avoir des calculs simples et de bien visualiser les résidus.

Les variables X et Y sont d'autant mieux corrélées que |r| est proche de 1 ; la somme S est alors proche de 0. Si r = 0, la somme S est maximale et les variables ne sont pas corrélées, c'est-à-dire que le modèle linéaire n'est pas pertinent.

La frontière entre « bonne » et « mauvaise » corrélation, c'est-à-dire la réponse à la question « Le modèle linéaire est-il pertinent ? », n'est pas universelle. Dans un domaine où la mesure est précise et les phénomènes stables, on pourra estimer que les données sont fortement corrélées si |r| ≥ 0,95. Dans des domaines où la mesure est moins précise, et notamment dans les sciences humaines, on se contentera parfois de r² ≥ 3/4 (soit |r| ≥ 0,56).

Article détaillé : Coefficient de corrélation.

Analyse de la variance

On peut écrire pour tout i :

(y_i - y) = β₁(x_i - x) + u_i

soit

$\begin{align} \sum(y_i - \bar{y})^2\ & = \beta_1^2 \sum(x_i - \bar{x})^2 + 2 \beta_1 \sum \left [ (x_i - \bar{x}) ( (y_i - \bar{y}) - \beta_1(x_i - \bar{x}) \right ] + \sum u_i^2 \\ & = \beta_1^2 \sum(x_i - \bar{x})^2 + \sum u_i^2 \end{align}$

On note :

• somme des carrés totale, SCT = ∑(y_i - y)² ;
• somme des carrés expliqués, SCE = β₁²·∑(x_i - x)² ;
• somme des carrés résiduels, SCR = ∑u_i² ;

et ainsi :

SCT = SCE + SCR

r = SCE/SCT.

Exemple  :

Dans l'exemple précédent, nous avons :

• SCT = 14
• SCE = 1,4²×5 = 9,8
• SCR = 1,1² + (-1,3)² + (-0,7)² + 0,9² = 4,2

Article détaillé : Analyse de la variance.

Précision sur les paramètres β₀ et β₁

Nous ajoutons l'hypothèse que les résidus suivent des lois normales (hypothèse de normalité des termes d'erreur).

Les estimations des paramètres β₀ et β₁ sont des réalisations des variables aléatoires :

$\mathrm{B}_1 = \frac{\sum (\mathrm{X} - \bar{\mathrm{X}})(\mathrm{Y} - \bar{\mathrm{Y}})}{\sum (\mathrm{X} - \bar{\mathrm{X}})^2}$

$\mathrm{B}_0 = \bar{\mathrm{Y}} - \mathrm{B}_1 \bar{\mathrm{X}}$

qui suivent elles aussi des lois normales.

On peut montrer que l'on a

β₁ = E(B₁)

β₀ = E(B₀)

Les variances empiriques valent :

$\operatorname{var}(\beta_1) = \frac{\sum (x_i - \bar{x})^2 \operatorname{var}(\mathrm{U})}{\left ( \sum (x_i - \bar{x})^2 \right )^2} = \frac{\operatorname{var}(\mathrm{U})}{\sum (x_i - \bar{x})^2}$

$\operatorname{var}(\beta_0) = \bar{x}^2 \operatorname{var}(\beta_1) + \operatorname{var}(\mathrm{U}) - 2 \operatorname{cov}(u, \beta_1)$

Or,

$\operatorname{cov}(u, \beta_1) = 0$

donc

$\operatorname{var}(\beta_0) = \operatorname{var}(\mathrm{U}) \left (\frac{\bar{x}^2}{\sum (x_i - \bar{x})^2} + \frac{1}{n} \right )$.

Pour la variance de U, plutôt que la variance empirique var(u), on a intérêt à utiliser l'estimateur sans biais σ*² défini par :

σ*² = SCR/(n - 2).

On peut ainsi calculer les estimateurs des écarts types :

$\sigma_{\beta_1} = \sqrt{\operatorname{var}(\beta_1)} \text{, } \sigma_{\beta_0} = \sqrt{\operatorname{var}(\beta_0)}$.

Les variables aléatoires B₀ et B₁ suivant des lois normales, on peut en déduire la précision de l'estimation des paramètres β₀ et β₁ en considérant un intervalle de confiance donné (par exemple Δ = 3σ/√n pour un intervalle de confiance de 99,7 %).

Exemple  :

Toujours avec le même exemple :

σ*² = 4,2/(4-2) = 2,1

var(β₁) = 2,1/5 = 0,42 ; σ_β1 ≈ 0,648

var(β₀) = 2,1×(2,5²/5 + 1/4) ≈ 1,189 ; σ_β0 ≈ 1,090

Comme nous avons peut d'échantillons, il faut utiliser la loi de Student. Pour un niveau de confiance de 95 % et n - 1 = 3 degrés de liberté, nous avons t = 3,182 et donc :

Δβ₁ = 3,182×0,648/√4 ≈ 1,031

Δβ₀ = 3,182×1,090/√4 ≈ 1,735

et donc, pour un niveau de confiance de 95 % :

β₁ = 1,4 ± 1,031

β₀ = 3,5 ± 1,735

Tests de nullité

Si les valeurs de β₀ ou de β₁ sont faibles, on peut se demander si elles sont significativement différentes de zéro. Le test de nullité consiste à regarder si 0 est dans l'intervale de confiance de β₀ ou de β₁, intervalle défini ci-dessus avec l'hypothèse de normalité.

Le test de nullité de β₁ est appelé « test d'indépendance des variables ». En effet, si β₁ = 0 (ou, plus précisément, si β₁ n'est pas significativement différent de zéro), alors X et Y ne sont pas liés.

Si l'on a β₀ = 0 (ou, plus précisément, si β₀ n'est pas significativement différent de zéro), alors on peut utiliser une loi strictement linéaire

y = β₁·x

et l'on a alors :

$\hat{\beta}_1 = \frac{\sum x_iy_i}{\sum x_i^2}$

Prévision statistique

Le but de la régression est d'établir la loi y = ƒ(x). Une fois cette loi estimée, on va chercher à prédire une valeur de y pour une valeur de x donnée ; on note y* cette valeur estimée,

y* = β₀ + β₁x

Il faut donc donner un intervalle de confiance pour cette valeur de y*. On peut donner deux réponses différentes à cette question.

La valeur y* est censée être l'espérance de la variable aléatoire Y(x) en ce point x donné : si l'on fait, disons, 1 000 mesures de Y, la moyenne E(Y(x)) de ces valeurs devrait être y*. On peut donc se demander avec quelle précision ΔE(Y(x)) on estime E(Y(x)). Pour un risque α donné, nous voulons pouvoir dire : j'ai α chances que E(Y(x)) soit dans l'intervalle [y* - ΔE(Y(x)) ; y* + ΔE(Y(x))].

Nous avons :

$\Delta \mathrm{E}(\mathrm{Y}(x)) = \mathrm{t}^{n - 2}_{1 - \alpha/2} \cdot \sigma^* \cdot \sqrt{\frac{1}{n} + \frac{(x - \bar{x})^2}{\sum (x_i - \bar{x})^2}}$

où t est la loi de Student à n - 2 dergés de liberté pour un risque α. Lorsque x varie, les limites de l'intervalle d econfiance décrivent une hyperbole.

L'autre question est : si je fais une mesure de Y(x), j'aurai une valeur différente de y* ; quel est l'intervalle de confiance Δy pour un risque α donné ? Nous voulons donc pouvoir dire : j'ai α chances que le y mesuré soit dans l'intervalle [y* - Δy ; y* + Δy].

Si x est proche de x, c'est-à-dire si (x - x)² est négligeable devant ∑(x_i - x)², et si n est grand, c'est-à-dire si 1/n est négligeable devant 1, alors on a un intervale de confiance

$\Delta y = \mathrm{t}^{n - 2}_{1 - \alpha/2} \cdot \sigma^*$

Sous ces hypothèses, on voit que Δy est constant, c'est-à-dire que l'on a une bande de confiance parallèle à la droite de régression.

L'expression exacte est

$\Delta y = \mathrm{t}^{n - 2}_{1 - \alpha/2} \cdot \sigma^* \cdot \sqrt{1 + \frac{1}{n} + \frac{(x - \bar{x})^2}{\sum (x_i - \bar{x})^2}}$

On voit que cet intervalle augmente lorsque l'on s'éloigne de x. Cela montre en particulier qu'une extrapolation, c'est-à-dire le fait d'utiliser la loi trouvée en dehors du domaine des points expérimentaux [x₁ ; x_n] (en supposant les abscisses classées par ordre croissant), comporte un risque statistique.

Exemple  :

Pour un niveau de confiance de 95 % et deux degrés de liberté, nous avons

t = 4,303

donc

$\Delta \mathrm{E}(\mathrm{Y}(x)) = 4,303 \times \sqrt{2,1} \times \sqrt{\frac{1}{4} + \frac{(x - 2,5)^2}{5}}$

ce qui permet de dresser le tableau suivant.

i	x	y*	ΔE(Y(x))
1	1	4,9	5,217
2	2	6,3	3,415
3	3	7,7	3,415
4	4	9,1	5,217

Nous avons également

$\Delta y = 4,303 \times \sqrt{2,1} \times \sqrt{1 + \frac{1}{4} + \frac{(x - 2,5)^2}{5}}$

Les conditions ne permettent pas de faire l'approximation « Δy est constant » ; toutefois, nous allons le calculer afin de d'évaluer l'erreur que l'on commettrait :

Δy₀ = 4,303×√2,1 = 6,236.

i	x	y*	Δy
1	1	4,9	8,130
2	2	6,3	7,110
3	3	7,7	7,110
4	4	9,1	8,130

Là encore, nous constatons que nous n'avons pas assez d'échantillons par rapport à la dispersion.

Comparaison de deux séries

Lorsque l'on a deux séries de données, on peut se demander si elles obéissent à la même loi, auquel cas on peut prendre l'ensemble des données pour effectuer la régression. À l'inverse, on peut vouloir scinder une série de données en deux pour modéliser chaque sous-ensemble par une loi différente.

Le test de Chow est utilisé pour estimer si deux jeux de données suivent des lois significativement différentes.

Article détaillé : Test de Chow.

Démarche globale

Pour résumer, face à des données pour lesquelles on veut appliquer une loi affine :

1. On calcule le coefficient de corrélation r, ce qui nous indique si une loi affine est pertinente. Si ce n'est pas le cas, il faut trouver une autre loi, ou bien envisager de collecter plus de données…
2. On détermine les coefficients de la droite, β₀ et β₁, par régression linéaire.
3. On teste la non-nullité de β₁ ; si β₁ n'est pas significativement différent de zéro, on en conclue que les données ne sont pas corrélées.
4. On teste la non-nullité de β₀ ; si β₀ n'est pas significativement différent de zéro, on recalcule β₁ pour une droite passant par 0.
5. On calcule, pour un niveau de confiance donné, la précision sur β₀ et β₁.
6. On calcule, pour un niveau de confiance donné, la précision sur y.

Moindres carrés des écarts d'abscisse

Comparaison entre les méthodes du résidu en ordonnée et du résidu en abscisse.

Ci-dessous, nous avons considéré le résidu en ordonnée, le résidu « vertical ». Cette hypothèse est pertinente si les valeurs de x sont connues sans erreur, ou du moins si la variance sur X est plus petite que la variance sur Y.

Dans le cas contraire, on peut considérer le résidu en abscisse, « horizontal ». Le modèle est alors la droite d'équation

x = β'₁y + β'₀.

On inverse simplement les axes x et y, et on trouve de manière symétrique :

$\left \{ \begin{align} \hat{\beta}'_1 = \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{Y})} \\ \hat{\beta}'_0 = \bar{x} - \hat{\beta}'_1 \bar{y} \end{align} \right .$

Dans le cas général, cette droite est différente de la précédente. Elle passe également par le centre de gravité.

Si l'on veut se ramener à une équation y = ƒ(x)

y = β₁x + β₀

il suffit de poser

$\hat{\beta}_1 = \frac{1}{\hat{\beta}'_1} = \frac{\operatorname{var}(\mathrm{Y})}{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}$

$\hat{\beta}_0 = -\frac{\hat{\beta}'_0}{\hat{\beta}'_1} = \bar{y} - \hat{\beta}_1\bar{x}$

Régression orthogonale

Comparaison entre la méthode des résidus verticaux et orthogonaux.

Si les erreurs sur x et sur y sont de même ordre de grandeur, alors il est plus pertinent d'effectuer une « régression orthogonale » ou « régression géométrique » : pour chaque point expérimental i, l'erreur d_i considérée est la distance du point à la droite modèle, c'est-à-dire la distance prise perpendiculairement à la droite — d'où le terme orthogonal.

On considère toujours la méthode des moindres carrés, que l'on nomme alors « moindre carrés totaux » (MCT) :

S = ∑d_i².

On a alors

$\hat{\beta}_1 = -\mathrm{C} \pm \sqrt{\mathrm{C}^2 + 1}$

avec

$\mathrm{C} = \frac{1}{2}\cdot \frac{ \left ( \sum y_i^2 - n \bar{y}^2 \right ) - \left ( \sum x_i^2 - n \bar{x}^2 \right )}{n \bar{x} \bar{y} - \sum x_i y_i}$

et toujours

$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$

voir http://mathworld.wolfram.com/LeastSquaresFittingPerpendicularOffsets.html

Cette droite de régression ne passe en général pas par le centre de gravité.

Si l'on impose β₀ = 0, on a alors :

$\hat{\beta}_1 = \frac{\sum(y_i^2 - x_i^2) + \sqrt{\left ( \sum (y_i^2 - x_i^2)\right )^2 + 4 \left ( x_i y_i \right )^2}}{2 \sum x_i y_i}$

Modèle général

Notations

On rencontre principalement trois types de notations.

Notation simple

On considère le modèle pour l'individu i. Pour chaque individu, la variable expliquée s'écrit comme une fonction linéaire des variables explicatives.

$y_i = \beta_0 + \beta_1 x_{1,i} + \ldots + \beta_K x_{K,i} + u_{i}$

Notation vectorielle

La notation vectorielle est similaire à la notation simple mais on utilise la notation vectorielle pour synthétiser la notation. Cette notation est pratique lorsqu'il y a un grand nombre de variables explicatives. On définit $\beta$ le vecteur des paramètres du modèle $(\beta_0,\ldots,\beta_K)$ et $x_i$ le vecteur des variables explicatives pour l'individu i $(1,x_{1,i},\ldots,x_{K,i})$. Le modèle se réécrit alors de la manière suivante :

$y_i = x_i' \beta + u_i$

Notation matricielle

Enfin, on rencontre aussi souvent une notation matricielle. Ici, on écrit le modèle pour chacun des n individus présents dans l'échantillon. Le modèle s'écrit alors :

$y = X \beta + u$ avec $y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}, \quad X = \begin{pmatrix} x'_1 \\ x'_2 \\ \vdots \\ x'_n \end{pmatrix} = \begin{pmatrix} 1 & x_{11} & \cdots & x_{1K} \\ 1 & x_{21} & \cdots & x_{2K} \\ \vdots & \ddots & \vdots \\ 1 & x_{n1} & \cdots & x_{nK} \end{pmatrix}, \quad \beta = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix}, \quad u = \begin{pmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{pmatrix}.$

Terminologie

Le modèle linéaire est utilisé dans un grand nombre de champs disciplinaires. Il en résulte une grande variété dans la terminologie. Soit le modèle suivant :

$y = \beta_0 + \beta_1 x_1 + \ldots + \beta_K x_K + u$

La variable y est appelée variable expliquée ou variable endogène. Les variables $(x_1,x_2,\ldots,x_K)$ sont appelées variables explicatives, variables exogènes ou encore prédicteurs. u est appelé terme d'erreur ou perturbation.

On note généralement $\hat \beta$ le vecteur des paramètres estimés. On définit la valeur prédite $\hat y_i = x_i \hat \beta$ et le résidu $\hat u_i = y_i - \hat y_i$.

Principales hypothèses

Les hypothèses de Gauss-Markov et les hypothèses de Normalité garantissent des propriétés particulièrement intéressantes des estimateurs des coefficients de régression. Les hypothèses peuvent s'exprimer différemment selon qu'il s'agisse de la régression linéaire simple ou multiple, ou bien selon que les $(x_{i,j})_{i=1,..,n; j=1,...,K}$ sont des valeurs constantes (comme une unité de temps par exemple), ou un échantillon des valeurs d'une variable aléatoire.

Hypothèses de Gauss-Markov

Exogénéité

On dit que les variables explicatives sont exogènes si elles ne sont pas corrélées au terme d'erreur. Ce qu'on note, pour le cas où la variable explicative est aléatoire, $\mathbb E (u_i|x_i) = 0$ en notation vectorielle et $\mathbb E (u | X) = 0$ en notation matricielle où $X=(\mathbb{I}_n, x_1, x_2,...,x_K)$. Ceci implique que les erreurs sont centrées. Si les X sont constantes ceci est noté $\mathbb E (u_i) = 0$.

Homoscédasticité

Les termes d'erreurs sont supposés de variance constante, ce qui se traduit par $\forall i=1,...,K \quad \mathbb E(u_i^2|x_i) = \sigma^2$ si X est une variable aléatoire ou un ensemble de variables aléatoires, et par $\forall i=1,...,K \quad \mathbb E(u_i^2) = \sigma^2$ sinon.

Non corrélation des termes d'erreur

Les termes d'erreur ne sont pas corrélés entre eux. Formellement, $\forall i \neq j \quad \mathbb E(u_i u_j|x_i) = 0$.

Cette hypothèse est souvent violée lorsqu'il s'agit de séries temporelles où les erreurs sont souvent dites autocorrélées.

Non colinéarité des variables explicatives

Cette hypothèse suppose qu'aucune des variables explicatives du modèle ne peut s'écrire comme une combinaison linéaire des autres variables. Ce qui revient à $\mathbb E (x_ix_i')$ inversible avec $x_i'$ la transposée du vecteur $x_i$ en notation vectorielle et à $\mathbb E (X'X)$ inversible avec $X'$ la transposée de la matrice $X$ en notation matricielle. Cette condition est souvent exprimée par le fait que la matrice $X$ est de rang maximum.

En régression simple, il suffit de dire que les points n'ont pas tous la même abscisse :

$\exists i,j /\ i \neq j \text{ et } x_i \neq x_j\text{,}$

faute de quoi la droite de régression serait une droite verticale.

Normalité des termes d'erreur

Une hypothèses plus forte que les deux premières est celle consistant à dire que les termes d'erreurs suivent une loi normale, centrées, de variance $\sigma^2$ soit, $u_i | x_i \sim \mathcal N (0, \sigma^2)$ en notation vectorielle et sous forme matricielle $u | X \sim \mathcal N (0, \sigma^2 I_n)$.

Hiérarchie des hypothèses

À noter que si l'hypothèse de non colinéarité n'est pas vérifiée, l'estimation du modèle est impossible (elle nécessiterait d'inverser une matrice singulière) alors que pour toutes les autres hypothèses l'estimation est possible mais donne un estimateur biaisé et/ou non efficace (à variance non minimale).

Modèle linéaire multiple

Article détaillé : Régression linéaire multiple.

On appelle modèle linéaire multiple un modèle dans lequel les hypothèses d'exogénéité, de non colinéarité, de non corrélation des termes d'erreur et d'homoscédasticité sont respectées.

Estimation du modèle

Ce modèle peut être estimé par la méthode des moindres carrés ordinaires. L'estimateur des moindres carrés ordinaires peut s'écrire :

$\hat\beta = \big(\, \tfrac{1}{n}{\textstyle\sum} x_i x'_i \,\big)^{-1} \big(\, \tfrac{1}{n}{\textstyle\sum} x_i y_i \,\big)$

sous forme vectorielle ou

$\hat \beta = (X'X)^{-1} X'y$

sous forme matricielle.

D'après le théorème de Gauss-Markov, l'estimateur des moindres carrés ordinaires est le meilleur estimateur linéaire sans biais du vecteur des coefficients $\beta$.

Sous l'hypothèse de normalité des termes d'erreur, l'estimateur des moindres carrés est aussi l'estimateur du maximum de vraisemblance.

Modèle avec corrélations des termes d'erreur ou hétéroscédasticité

Il arrive souvent que les hypothèses de non corrélation et d'homoscédasticité ne soient pas vérifiées. On distingue alors deux cas : le cas où l'on peut faire des hypothèses raisonnables sur la matrice de variance-covariance du vecteur des perturbations et le cas où on ne fait aucune hypothèse sur cette matrice.

Estimation du modèle par les moindres carrés généralisés

Si on note $\Omega$ la matrice de variance-covariance du vecteur des perturbations $u$, on peut définir l'estimateur des moindres carrés généralisés : $\hat\beta = (X'\Omega^{-1}X)^{-1}X'\Omega^{-1}y,$

Estimation du modèle par les moindres carrés quasi-généralisés

Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue !

Modèle à variables instrumentales

Lorsque l'une des variables explicatives est corrélée au terme d'erreur (H1 violée), alors on peut avoir recours aux variables instrumentales. On appelle variable instrumentale une variable z qui a un effet sur les variables explicatives suspectées d'endogénéité mais n'est pas corrélée avec le terme d'erreur.

Lorsque l'hypothèse H1 d'exogénéité n'est pas crédible, on peut utiliser la méthode des variables instrumentales. Dans ce cas, il faut trouver un ensemble de variables dites instrumentales qui doivent être à la fois exogènes et corrélées aux variables explicatives du modèle. On note souvent le vecteur des variables instrumentales $z_i$ et la matrice des variables instrumentales $Z$.

Formellement, on introduit donc deux nouvelles hypothèses :

• L'hypothèse d'exogénéité des instruments : $\mathbb E (u_i|z_i) = 0$ sous forme vectorielle ou $\mathbb E (u | Z) = 0$ sous forme matricielle.
• Condition de rang : Z doit être corrélé à X.

Application

Très souvent utilisé en économétrie, le modèle à variables instrumentales est aussi utilisé en sciences politiques.

Estimation du modèle par la méthode des doubles moindres carrés

Ce modèle peut être estimé par la méthode des doubles moindres carrés et dans ce cas, on obtient : $\hat\beta = [X'Z(Z'Z)^{-1}Z'X]^{-1}[X'Z(Z'Z)^{-1}Z'y]$.

Extensions

• Le modèle linéaire généralisé est une extension du modèle linéaire dans laquelle on pose $y_i = g^{-1} (\beta_0 + \beta_1 x_x + \ldots + x_K) + u_i$. Cette classe de modèles comprend le modèle linéaire, le modèle de régression logistique, le modèle probit, le modèle de Poisson, etc. Elle a été développée par Nelder et Wedderburn 1972 et popularisé par le livre de McCullagh et Nelder 1989.
• Le modèle linéaire hiérarchique ou modèle linéaire multiniveau est un modèle dans lequel il y a au moins deux niveaux d'observations, par exemple la région et les individus et dans lequel on va permettre aux coefficients de varier. Par exemple, le modèle suivant est un modèle linéaire hiérarchique : $y_{j,i} = \beta_{0,j} + \beta_{1,j} x_{1,j,i} + \ldots + \beta_{K,j} x_{K,j,i} + u_{j,i}$.

• Le modèle de régression quantile linéaire.

• Le modèle additif généralisé

• Le modèle Tobit pour traiter les variables censurées.

• Le modèle de sélection ou modèle Heckit

• Les modèles à équations simultanées

Voir aussi

Bibliographie

Textes historiques

• (en) Francis Galton, « Regression Towards Mediocrity in Hereditary Stature », Journal of the Anthropological Institute, vol. 15, 1886, p. 246-263 [texte intégral (page consultée le 27 février 2012)] 

Sources

• Michel Armatte, Histoire du modèle linéaire. Formes et usages en statistique et en économétrie jusqu’en 1945, 1995, thèse EHESS sous la direction de Jacques Mairesse.
• (en) E.H. Lehmann, « On the history and use of some standard statistical models », dans Deborah Nolan et Terry Speed, Probability and Statistics: Essays in Honor of David A. Freedman, Beachwood, Ohio, USA, Institute of Mathematical Statistics, 2008 [lire en ligne (page consultée le 28 décembre 2011)] 

Manuels

• Pierre-André Cornillon et Eric Matzner-Løber, Régression : Théorie et applications, Springer, 2007, 1^re éd., 302 p. (ISBN 978-2287396922) 
• Mathieu Rouaud, Probabilités, statistiques et analyses multicritères Un livre de 182 pages qui traite en détail la régression linéaire avec ou sans barres d'erreurs.
• Brigitte Dormont, Introduction à l'économétrie, Paris, Montchrestien, 2007, 2^e éd. (ISBN 978-2-7076-1398-1) 
• Valérie Mignon, Économétrie, Economica, coll. « Corpus économie », 2008, 1^re éd. 
• (en) Larry Wasserman, All of Statistics : A Concise Course in Statistical Inference, New York, Springer-Verlag, 15 septembre 2004, 461 p. (ISBN 978-0387402727) 
• (en) Joshua Angrist et Jörn-Steffen Pischke, Mostly Harmless Econometrics : An Empiricist's Companion, Princeton University Press, 2008, 1^re éd., 392 p. (ISBN 978-0691120355) 
• (en) Colin Cameron et Pravin Trivedi, Microeconometrics : Methods And Applications, Cambridge University Press, 2005, 1056 p. (ISBN 978-0521848053) 
• (en) Andrew Gelman et Jennifer Hill, Data Analysis Using Regression And Multilevel/Hierarchical Models, Cambridge University Press, coll. « Analytical Methods for Social Research », 18 décembre 2006, 1^re éd., 648 p. (ISBN 978-0521686891) 
• Bruno Crépon et Nicolas Jacquemet, Économetrie : Méthode et Applications, De Boeck Université, coll. « Ouvertures économiques », 9 juillet 2010, 1^re éd., 416 p. (ISBN 978-2804153236) 
• (en) Yadolah Dodge, The Concise Encyclopaedia of Statistics, New York, Springer, 2010, 622 p. (ISBN 978-0-387-31742-7) 

Articles connexes

• Statistique
• Régression (statistiques)
• Corrélation (mathématiques)
• Test de Chow

Lien externe

• (fr) Philippe Besse, Pratique de la régression linéaire, janvier 2003
• (fr) Thierry Verdel et coll., La régression linéaire, cours de l'École des Mines de Nancy