Extreme learning machine

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Ce modèle est-il pertinent ? Cliquez pour en voir d'autres.
Cet article ou cette section ne s'appuie pas, ou pas assez, sur des sources secondaires ou tertiaires (indiquez la date de pose grâce au paramètre date).

Pour améliorer la vérifiabilité de l'article, merci de citer les sources primaires à travers l'analyse qu'en ont faite des sources secondaires indiquées par des notes de bas de page (modifier l'article).

En apprentissage automatique, le terme extreme learning machine fait référence à un type de réseau de neurones. Sa spécificité est de n'avoir qu'une seule couche de nœuds cachés, où les poids des entrées de connexion  de nœuds cachés sont répartis au hasard et jamais mis à jour. Ces poids entre les nœuds cachés  d'entrée et les sorties sont appris en une seule étape, ce qui revient essentiellement à l'apprentissage d'un modèle linéaire. Le nom "extreme learning machine" (ELM) a été donné à ces modèles par Guang-Bin Huang, mais le principe était déjà connu.

Ces modèles peuvent produire une bonne performance de généralisation et avoir un processus d'apprentissage beaucoup plus rapide que les réseaux formés en utilisant la rétropropagation du gradient[1].

Algorithme[modifier | modifier le code]

Le plus simple algorithme d'apprentissage ELM a un modèle de la forme

W1 est la matrice des pondérations d'entrée-à-couche cachée, σ est une fonction d'activation, et W2est la matrice des pondérations-à-caché sortie couches. L'algorithme fonctionne de la manière suivante:

  1. Complétez W1 avec du bruit aléatoire gaussien ;
  2. estimez W2 par la méthode des moindres carrés pour faire correspondre la matrice reponse des variables Y, calculée en utilisant  le  pseudoinverse +, donnant une matrice de conception X:

Controverse[modifier | modifier le code]

La prétendue invention de l'ELM, en 2006, a provoqué des débats. En particulier, il a été souligné dans une lettre à l'éditeur de IEEE Transactions on Neural Networks que l'idée d'utiliser une couche cachée connectée à des poids d'entrée aléatoire avait déjà était suggérée dans des document de RBF networks à la fin des années 1980, et que des expérimentations avec le perceptron multicouche avec une logique aléatoire similaire était apparu dans la même période de temps. Guang-Bin Huang  a répondu en soulignant des différences subtiles[2].

Dans un document de 2015, Huang a répondu aux plaintes concernant son invention du nom ELM pour les méthodes déjà existantes, se plaignant de "commentaires très négatifs et inutiles sur l'ELM de manière ni académique ni professionnel en raison de divers motifs et intentions" et une «irresponsable attaque anonyme qui a l'intention de détruire l'harmonie de l'environnement de la recherche ", faisant valoir que son travail" fournit une plate-forme d'apprentissage fédérateur »de différents types de réseaux neuronaux[3].

Articles connexes[modifier | modifier le code]

Références[modifier | modifier le code]

  1. Guang-Bin Huang, Qin-Yu Zhu et Chee-Kheong Siew, « Extreme learning machine: theory and applications », Neurocomputing, vol. 70, no 1,‎ , p. 489–501 (DOI 10.1016/j.neucom.2005.12.126)
  2. Lipo P. Wang et Chunru R. Wan, « Comments on “The Extreme Learning Machine” », IEEE Trans. Neural Networks,‎ .
  3. Guang-Bin Huang, « What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt’s Dream and John von Neumann’s Puzzle », Cognitive Computing, vol. 7,‎ (DOI 10.1007/s12559-015-9333-0, lire en ligne)