Validation croisée

La validation croisée (« cross-validation ») est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondé sur une technique d’échantillonnage.

Utilité de la validation croisée

Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut entraîner le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde aux données le mieux possible. Si on prend ensuite un échantillon de validation indépendant issu de la même population d'entraînement, il s'avérera en général que le modèle ne réagit pas aussi bien à la validation que durant l'entraînement : on parle parfois de surapprentissage. La validation croisée est un moyen de prédire l'efficacité d'un modèle sur un ensemble de validation hypothétique lorsqu'un ensemble de validation indépendant et explicite n'est pas disponible.

Techniques de validation

Il existe au moins trois variantes de validation (croisée ou non) :

• « testset validation » ou « holdout method » : on divise l'échantillon de taille $n$ en deux sous-échantillons, le premier dit d'apprentissage (communément supérieur à 60 % de l'échantillon) et le second dit de test. Le modèle est bâti sur l'échantillon d'apprentissage et validé sur l'échantillon de test. L'erreur est estimée en calculant un test, une mesure ou un score de performance du modèle sur l'échantillon de test, par exemple l'erreur quadratique moyenne ;
• « k-fold cross-validation » : on divise l'échantillon original en $k$ échantillons, puis on sélectionne un des $k$ échantillons comme ensemble de validation et les $k-1$ autres échantillons constitueront l'ensemble d'apprentissage. On calcule comme dans la première méthode le score de performance, puis on répète l'opération en sélectionnant un autre échantillon de validation parmi les $k-1$ échantillons qui n'ont pas encore été utilisés pour la validation du modèle. L'opération se répète ainsi $k$ fois pour qu'en fin de compte chaque sous-échantillon ait été utilisé exactement une fois comme ensemble de validation. La moyenne des $k$ erreurs quadratiques moyennes est enfin calculée pour estimer l'erreur de prédiction ;
• « leave-one-out cross-validation » (LOOCV) : cas particulier de la deuxième méthode où $k=n$, c'est-à-dire que l'on apprend sur $n-1$ observations puis on valide le modèle sur la énième observation et l'on répète cette opération $n$ fois.

Voir aussi

Liens internes

• Apprentissage automatique
• Bootstrap (statistiques)
• Jackknife