Abandon (réseaux neuronaux)

Un article de Wikipédia, l'encyclopédie libre.

Le décrochage, ou abandon, est une technique de régularisation pour réduire le surapprentissage dans les réseaux de neurones. La technique évite des co-adaptations complexes sur les données de l'échantillon d'entraînement. C'est un moyen très efficace d'exécuter un moyennage du modèle de calcul avec des réseaux de neurones[1]. Le terme "décrochage" se réfère à une suppression temporaire de neurones (à la fois les neurones cachés et les neurones visibles) dans un réseau de neurones[2].

Le réseau neuronal se voit amputé d'une partie de ses neurones pendant la phase d'entrainement (leur valeur est estimée à 0) et ils sont par contre réactivés pour tester le nouveau modèle.

Références[modifier | modifier le code]

  1. (en) Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever et Ruslan R. Salakhutdinov, « Improving neural networks by preventing co-adaptation of feature detectors », .
  2. (en) « Dropout: A Simple Way to Prevent Neural Networks from Overfitting », sur Jmlr.org (consulté le )