Discussion:Méthode des moindres carrés

je ne comprend pas tres bien comment fonctionne la methode des moindres carrés Pouvez vous la reexpliquer?? merci

Le principe de la méthode est assez simple. Il s'agit de corréler un ensemble statistique un autre ensemble (produit par une fonction paramétrée) en ajustant les paramètres de cette fonction, afin d'en avoir une représentation modèle. Un exemple simple d'application est le suivant : on doit trouver une fonction de formule générale connue (au hasard $f:x\rightarrow a+bx+cx^{2}$) pour décrire un ensemble de points d'abscisses et ordonnées connues qui semblent a priori placés sur une courbe de ce type. Appliquer la méthode des moindres carrés revient à minimiser la distance (au carré) entre deux points de mêmes abscisses en manipulant les trois paramères a, b et c. L'appliquer n'est pas toujours très simple, mais il existe des algorithmes de calcul pour pouvoir l'effectuer sur de grands ensembles et des fonctions plus ou moins complexes. --Grimlock 21 août 2006 à 18:39 (CEST)

Bonjour J'ai trouvé cet article très bon mais je me demande deux chose: -si l'article n'est pas un peu trop orienté vers la physique (pour un néophyte, pareils exemples qui font appel à d'autes connaissance sont peut-être décourageants...) -s'il ne serait pas utile aussi de développer la méthode de régression par les moindres carrés ordinaires (donc juste pour le cas simple d'une relation linéaire)

Je ne comprends rien au paragraphe ci-dessous qui se trouvait dans la section Optimalite de la methode des moindres carres. Je pense qu'il faudrait soit detailler, soit plutot remplacer par une application concrete (avec un plot). Ce qui devrait figurer dans la section Optimalite etc... c'est une discussion sur le fait que les estimateurs des moindres carres atteignent generalement la borne de Cramer-Rao generalement au prix d'un biais si le probleme est non-lineaire --Nrl

Il faut se garder de penser que cette méthode est la méthode optimale quels que soient les cas de figure. Ainsi par exemple appliquer une méthode des moindres carrés sur une courbe en log-log (chaque axe porte le logarithme de la valeur représentée) peut ne pas présenter grand sens. De même, selon que l'on a à sa disposition un ampèremètre ou un wattmètre, la mesure de grandeur de ce qui passe dans un réseau de résistance sera soit :

• L'intensité (i)
• La puissance (Ri²)

Il va de soi qu'une méthode des moindres carrés sur la première de ces valeurs n'a pas de raison de donner le même résultat sur la seconde. Il faut donc bien s'interroger sur la signification de ce « carré d'erreur » que l'on cherche à minimiser, et si besoin effectuer au préalable les changements de variable adéquats.

Ce serait également une erreur que d'appliquer une méthode de moindres carrés à une classification par rang (voir Loi de Zipf).

En revanche, là où une distribution gaussienne est présumée (ou choisie pour des raisons d'entropie maximale en cas de méthode bayésienne), son choix peut souvent se justifier, et on le démontre même optimal si la relation entre les deux variables est bien linéaire.

Doute sur une formule

Bonjour,

j'ai un doute sur cette formule :

$S(\theta )=\sum _{i=1}^{N}\left(y_{i}-f(x_{i};\theta )\right)^{2}=\sum _{i=1}^{N}r_{i}(\theta )$

Ne serait-ce pas plutôt :

$\sum _{i=1}^{N}(r_{i}(\theta ))^{2}$

Merci d'avance !

--Francois.Nautré (d) 21 décembre 2007 à 13:53 (CET)

oui c'est bien r^2 (c'est corrigé) merci beaucoup godix (d) 21 décembre 2007 à 14:31 (CET)

Merci à vous ! --Francois.Nautré (d) 21 décembre 2007 à 15:48 (CET)

Autre doute sur une formule

Par la définition de l'homoscédasticité, n'y aurait il pas un i surnuméraire dans la formule $\operatorname {Var} (\varepsilon _{i})=\sigma _{i}^{2}$ devant être $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}$ ?? Merci

Si, en effet. Une mauvaise lecture m'avait laissé croire que non au début. Kelam (Qu'est-ce que c'est ?) 14 mars 2011 à 16:37 (CET)

Aïe !

Bonjour, quelques remarques sur l'article :

1. J'ai des doutes sur l'utilité de la méthode des moindres carrés généralisés telle qu'elle est présentée. Est-ce qu'il est possible d'avoir une référence sérieuse la justifiant ? En effet, si l'on connait la matrice de variance-covariance des observations, pourquoi ne pas directement utiliser la méthode des moindres carrés pondérés présentée ensuite ?
2. La formule ${\boldsymbol {\widehat {\beta }}}\sim N\left({\boldsymbol {\beta }}_{0};(\mathbf {X} ^{T}\mathbf {X} )^{-1}{\boldsymbol {\Omega }}\right)$ est fausse puisque si n est la taille des observations, p la taille du vecteur d'état, X est de taille n x p, donc $X^{T}X$ est de taille p x p or la matrice $\Omega$ est de taille n x n. $(\mathbf {X} ^{T}\mathbf {X} )^{-1}{\boldsymbol {\Omega }}$ n'existe pas !!
3. Si $\Omega$ n'est pas la matrice identité, l'estimateur des moindres carrés généralisés et l'estimateur des moindres carrés pondérés ne peuvent pas suivre la même loi${\boldsymbol {\widehat {\beta }}}\sim N\left({\boldsymbol {\beta }}_{0};(\mathbf {X} ^{T}{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}\right)$.

Olivierkeke (d) 5 novembre 2009 à 15:14 (CET)

Lien

Bonjour, je propose ce lien, s'il peut être utile: Sur la probabilité des erreurs d'après la méthode des moindres carrés. Asram (d) 28 février 2010 à 17:57 (CET)

Erreur sur la paternité de l'élaboration de la méthode

Légendre a bien publié la méthode en 1805 et Gauss en 1809, mais Gauss utilisa la méthode pour calculer l'orbite de Ceres en 1802.

Oui, c'est précisé dans le corps de l'article ; j'ai rectifié le RI en conséquence--Dfeldmann (discuter) 11 décembre 2014 à 09:01 (CET)

Variables muettes ?

Dans la section "présentation de la méthode", il est dit que "le modèle théorique est une famille de fonctions ${\displaystyle f(x;\theta )}$ d’une ou plusieurs variables muettes x, indexées par un ou plusieurs paramètres ${\displaystyle \theta }$ inconnus".

D'après la définition des variables libres et liées (i.e. muettes) de Wikipedia, ne devrait-on pas parler ici de variables libres ? Les $x_{i}$ étant si je comprends bien les antécédents des mesures $y_{i}$, ils devraient sauf erreur de ma part être utilisés comme argument pour la méthode $f$, en substituant ses variables libres.

Matrice jacobienne

Bonjour, j'ai un doute sur le fait que la matrice J correspond bien à une matrice jacobienne. En général, une matrice jacobienne correspond à une matrice des dérivés au premier ordre. Peut-être que la méthode des moindres carrés possède une définition différente de la matrice jacobienne. Dans ce cas, il faudrait sourcer la définition ou clarifier les explications pour les lecteurs. Bonne journée. Bouftoubleu (discuter) 28 septembre 2023 à 11:21 (CEST)

Bonjour,

Il y a peut-être abus, mais l'analogie tient : on a bien

$\phi _{i}(x_{k})={\frac {\partial f(x_{i},\theta )}{\partial \theta _{k}}}$

qui est bien le terme de la jacobienne de

$\theta ={\begin{pmatrix}\theta _{1}\\\vdots \\\theta _{n}\end{pmatrix}}\longmapsto {\begin{pmatrix}f(x_{1},\theta )\\\vdots \\f(x_{N},\theta )\end{pmatrix}}$

Kelam (discuter) 28 septembre 2023 à 12:08 (CEST)

Incohérence par rapport à la littérature ?

Il semblerait que dans la version anglaise des articles des moindres carrée généralisé et pondéré (Generalized least squares et Weighted least squares) ainsi que dans la littérature, la distinction soit faite sur le caractère diagonal ou non de la matrice de covariance :

"A special case of GLS [Generalized least squares], called weighted least squares (WLS), occurs when all the off-diagonal entries of Ω are 0" - Generalized least squares - Wikipedia

La décomposition de Cholesky est utilisée dans la littérature pour parler des GLS et pas des WLS et dans la version française c'est l'inverse :

"GLS is equivalent to applying ordinary least squares (OLS) to a linearly-transformed version of the data. This can be seen by factoring using a method such as Cholesky decomposition."

Quelques cours que j'ai trouvé en ligne (aucune idée de leur autorité) semble aller dans le sens de la version anglaise et non de la version française :

gls.pdf (uc3m.es)

c:\xtemp\et01.dvi (ntu.edu.tw)

Generalized least squares (GLS regression) (statlect.com) Poxknot (discuter) 5 janvier 2024 à 11:35 (CET)