Régression (statistiques)

La régression est un ensemble de méthodes statistiques très utilisées pour analyser la relation d'une variable par rapport à une ou plusieurs autres.

Pendant longtemps, la régression d'une variable aléatoire $y$ sur le vecteur de variables aléatoires $x$ désignait la moyenne conditionnelle de $y$ sachant $x$. Aujourd'hui, le terme de régression désigne tout élément de la distribution conditionnelle de $y$ sachant $x$, considérée comme une fonction de $x$. On peut par exemple s'intéresser à la moyenne conditionnelle, à la médiane conditionnelle, au mode conditionnel, à la variance conditionnelle...

Le terme « régression » a été introduit par Francis Galton à la suite d'une étude sur la taille des descendants de personnes de grande taille, qui diminue de générations en générations vers une taille moyenne (donc leur taille régresse).

En apprentissage automatique, on distingue les problèmes de régression des problèmes de classification. Ainsi, on considère que les problèmes de prédiction d'une variable quantitative sont des problèmes de régression tandis que les problèmes de prédiction d'une variable qualitative sont des problèmes de classification. Certaines méthodes, comme la régression logistique, sont à la fois des méthodes de régression au sens où il s'agit de prédire la probabilité d'appartenir à chacune des classes et des méthodes de classification.

Principaux modèles de régression

Le modèle de régression le plus connu est le modèle de régression linéaire.

Lorsque le modèle n'est pas linéaire, on peut effectuer une régression approchée par des algorithmes itératifs, on parle de régression non linéaire.

Si on s'intéresse au quantile conditionnel de la distribution de la variable aléatoire $y$ sachant le vecteur de variables aléatoires $x$, on utilise un modèle de régression quantile.

Si la variable expliquée est une variable aléatoire binomiale, il est courant d'utiliser une régression logistique ou un modèle probit.

Si la forme fonctionnelle de la régression est inconnue, on peut utiliser un modèle de régression non paramétrique.

Voir aussi

• Interaction (statistiques)
• Régression linéaire
• Régression linéaire multiple
• Régression polynomiale
• Régression logistique
• Modèle linéaire généralisé
• Régression non paramétrique
• Modèles de régression multiple postulés et non postulés
• Régression circulaire
• Régression elliptique
• Régression locale

Bibliographie

• (en) Francis Galton, « Kinship and Correlation (reprinted 1989) », Statistical Science, Institute of Mathematical Statistics, vol. 4, n^o 2,‎ 1989, p. 80–86 (DOI 10.1214/ss/1177012581, JSTOR 2245330)
• (en) Charles Manski, « Regression », Journal of Economic Literature, vol. 29, n^o 1,‎ mars 1991, p. 34-50 (lire en ligne, consulté le 1^er juillet 2011)
• Gareth James, Daniela Witten, Trevor Hastie et Robert Tibshirani, An Introduction to Statistical Learning, Springer Verlag, coll. « Springer Texts in Statistics », 2013