Apprentissage profond

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Un réseau de neurones convolutifs (CNN) est une méthode d'apprentissage automatique reposant sur l'apprentissage profond.

L'apprentissage profond[1] (en anglais deep learning, deep structured learning, hierarchical learning) est un ensemble de méthodes d'apprentissage automatique tentant de modéliser avec un haut niveau d’abstraction des données grâce à des architectures articulées de différentes transformations non linéaires[réf. souhaitée]. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage. Dans les années 2000, ces progrès ont suscité des investissements privés, universitaires et publics importants, notamment de la part du GAFA (Google, Apple, Facebook, Amazon)[2].

Description et contexte[modifier | modifier le code]

Le « deep learning » fait partie d’une famille de méthodes d'apprentissage automatique fondées sur l’apprentissage de modèles de données. Une observation (une image, p. ex.) peut être représentée de différentes façons par un vecteur de données, notamment en fonction de :

  • l’intensité des pixels dont elle est constituée
  • ses différentes arêtes
  • ses différentes régions, aux formes particulières

Certaines représentations et une bonne capacité d'analyse automatique des différenciations[3] rendent la tâche d’apprentissage plus efficace.

Une des perspectives des techniques de l'apprentissage profond est le remplacement de certains travaux, encore relativement laborieux, par des modèles algorithmiques d’apprentissage supervisé, non supervisé (c’est-à-dire ne nécessitant pas de connaissances spécifiques quant au problème étudié) ou encore par des techniques d’extraction hiérarchique des caractéristiques.

Les recherches dans ce domaine s’efforcent de construire de meilleures représentations du réel et de créer des modèles capables d’apprendre ces représentations à partir de données non labellisées à grande échelle. Certaines de ces représentations s’inspirent des dernières avancées en neuroscience. Il s'agit, grosso modo, d'interprétations du traitement de l’information et des modèles de communication du système nerveux, à l'image de la façon dont le système nerveux établit des connexions en fonction des messages reçus, de la réponse neuronale et du poids des connexions entre les neurones du cerveau.

Les différentes architectures de « deep learning » telles que les « deep neural networks », les « convolutional deep neural networks », et les « deep belief network » ont plusieurs champs d’application :

Dans ces deux derniers domaines, notamment, elles ont obtenu des résultats très prometteurs.

Définition[modifier | modifier le code]

Les techniques d'apprentissage profond constituent une classe d’algorithmes d'apprentissage automatique qui :

  • utilisent différentes couches d’unité de traitement non linéaire pour l’extraction et la transformation des caractéristiques ; chaque couche prend en entrée la sortie de la précédente ; les algorithmes peuvent être supervisés ou non supervisés, et leurs applications comprennent la reconnaissance de modèles et la classification statistique ;
  • fonctionnent avec un apprentissage à plusieurs niveaux de détail ou de représentation des données ; à travers les différentes couches, on passe de paramètres de bas niveau à des paramètres de plus haut niveau, où les différents niveaux correspondent à différents niveaux d’abstraction des données.

Ces architectures permettent aujourd’hui de conférer du « sens » à des données en leur donnant la forme d’images, de sons ou de textes.

L'apprentissage profond utilise des couches cachées de réseaux de neurones artificiels, des « Restricted Boltzmann machine (en) », et des séries de calculs propositionnels complexes. Les algorithmes d'apprentissage profond s’opposent aux algorithmes d’apprentissage peu profonds du fait du nombre de transformations réalisées sur les données entre la couche d’entrée et la couche de sortie, où une transformation correspond à une unité de traitement définie par des poids et des seuils.

Bref historique et domaines d'application[modifier | modifier le code]

Le concept d'apprentissage profond prend forme dans les années 2010, avec la convergence de trois facteurs :

En octobre 2015, le programme AlphaGo, à qui l'on a « appris » à jouer au jeu de go grâce à la méthode de l'apprentissage profond, bat le champion européen Fan Hui[9] par 5 parties à 0. En mars 2016, le même programme bat le champion du monde Lee Sedol par 4 parties à 1[10].

L'apprentissage profond s'applique à divers secteurs des NTIC, notamment :

L'apprentissage profond peut, par exemple, aider à :

  • mieux reconnaître des objets hautement déformables[16]
  • analyser les émotions révélées par un visage photographié ou filmé[17]
  • analyser les mouvements et position des doigts d'une main, ce qui peut être utile pour traduire le langage des signes[18]
  • améliorer le positionnement automatique d'une caméra, etc.[19]
  • poser, dans certains cas, un diagnostic médical (ex. : reconnaissance automatique d'un cancer en imagerie médicale[20]), ou de prospective ou de prédiction (ex. : prédiction des propriétés d'un sol filmé par un robot[21])

L’une des applications les plus significatives du deep learning à la santé publique est le projet Horus[22] développé par NVIDIA, qui a remporté cette année un prix de l’innovation sociale. Il s’agit d’un appareil portable dans lequel un puissant algorithme embarqué (NVIDIA Jetson) aide les mal-voyants ou les aveugles à s’orienter et à reconnaître des personnes ou des objets.

En physique, l'on utilise l'apprentissage profond pour la recherche sur les particules exotiques[23].

Réactions[modifier | modifier le code]

Certaines personnalités, elles-mêmes issues de la communauté des concepteurs et fournisseurs en technologies, ont manifesté leur crainte de voir, à plus ou moins long terme, l'intelligence artificielle dépasser les performances de l'intelligence humaine[24]. Mentionnons notamment l'astrophysicien britannique Stephen Hawking[25], l'un des fondateurs de Microsoft, Bill Gates[26], le PDG de Tesla, Elon Musk[27] et le spécialiste en IA[28] et informaticien Stuart Russell. D'autres, comme Raymond Kurzweil, se réclamant de la philosophie transhumaniste, s'en réjouissent au contraire, qualifiant cette percée de singularité technologique.

Ces craintes sont relativisées par des chercheurs en intelligence artificielle, notamment Yoshua Bengio. Ce dernier estime en effet que l'on a largement exagéré les progrès récents de l'IA et sous-estimé la lenteur du processus d'amélioration[29]. Ce chercheur reconnu estime que l'IA est encore loin du stade où l'on peut dire que l'ordinateur « comprend » à proprement parler : il souligne que percevoir et créer des concepts, ce n'est pas vraiment comprendre, et il affirme qu'il manque encore quelque chose de fondamental pour franchir ce pas[29].

Enfin, la crainte selon laquelle l'IA pourrait s'améliorer d'elle-même pour échapper éventuellement au contrôle des humains lui semble infondée pour trois raisons : d'abord, les techniques actuelles, extrêmement spécialisées, exigent de très longs temps d'apprentissage [30] ; ensuite, elles ne reposent pas sur une forme d'auto-programmation ; et enfin, l'auto-programmation n'est pas un axe de recherche[29].

Notes et références[modifier | modifier le code]

  1. Une source pour la traduction en apprentissage profond : Yoshua Bengio, « Introduction aux algorithmes d’apprentissage profonds », sur Université de Montréal.
  2. a et b "Deep learning" : les dessous d'une technologie de rupture, analyse prospective, Futurible.
  3. A. G. Baydin, B. A. Pearlmutter, A. A. Radul et J. M. Siskind (2015), « Automatic differentiation in machine learning: a survey », arXiv preprint arXiv:1502.05767 . 185.
  4. a et b J. Zhou et O. G. Troyanskaya (2015), « Predicting effects of noncoding variants with deep learning-based sequence model », Nature Methods, 12(10), 931-934 (résumé).
  5. a et b B. Alipanahi, A. Delong, M. T. Weirauch et B. J. Frey (2015), « Predicting the sequence specificities of DNA-and RNA-binding proteins by deep learning », Nature Biotechnology (résumé).
  6. J. Schmidhuber (2015), « Deep learning in neural networks: An overview », Neural Networks, 61, 85-117.
  7. Collobert, R. (2011). Deep learning for efficient discriminative parsing. In AISTATS'2011 . 95.
  8. D. H. Ackley, G. E. Hinton et T. J. Sejnowski (1985), « A learning algorithm for Boltzmann machines », Cognitive Science, 9, 147{169. 590.
  9. http://www.lemonde.fr/pixels/article/2016/01/27/premiere-defaite-d-un-professionnel-du-go-contre-une-intelligence-artificielle_4854886_4408996.html.
  10. William Audureau, « Jeu de go : pour Lee Sedol, la victoire de la machine est moins tactique que psychologique », Le Monde.fr,‎ (ISSN 1950-6244, lire en ligne).
  11. D. Ciresan, U. Meier, J. Masci et J. Schmidhuber (2012), « Multi-column deep neural network for traffic sign classiffication », Neural Networks, 32, 333-338. 22, 195.
  12. M. Cai, Y. Shi et J. Liu (2013), « Deep maxout neural networks for speech recognition » dans Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop on, pages 291-296. IEEE. 198.
  13. P. Baldi et S. Brunak (1998), « Bioinformatics, the Machine Learning Approach », MIT Press, 579.
  14. D. Held, S. Thrun et S. Savarese (2015), « Deep Learning for Single-View Instance Recognition », arXiv preprint arXiv:1507.08286.
  15. W. Y. Lim, A. Ong, L. L. Soh et A. Sufi (2016), « Teachers’ Voices and Change: The Structure and Agency Dialectics that Shaped Teachers’ Pedagogy Toward Deep Learning », dans Future Learning in Primary Schools (pp. 147-158), Springer Singapore.
  16. I. Mariolis, G. Peleka, A. Kargakos, et S. Malassiotis (juillet 2015). Pose and category recognition of highly deformable objects using deep learning. In Advanced Robotics (ICAR), 2015 International Conference on (pp. 655-662). IEEE (résumé).
  17. S. E. Kahou, X. Bouthillier, P. Lamblin, C. Gulcehre, V. Michalski, K. Konda, … et Y. Bengio (2015). EmoNets: Multimodal deep learning approaches for emotion recognition in video. arXiv preprint arXiv:1503.01800.
  18. M. Oberweger, P. Wohlhart et V. Lepetit (2015), « Hands Deep in Deep Learning for Hand Pose Estimation », arXiv preprint arXiv:1502.06807.
  19. A. Kendall et R. Cipolla (2015), « Modelling Uncertainty in Deep Learning for Camera Relocalization », arXiv preprint arXiv:1509.05909 (résumé).
  20. A. Halpern et J. R. Smith (octobre 2015), « Deep Learning, Sparse Coding, and SVM for Melanoma Recognition in Dermoscopy Images », dans Machine Learning in Medical Imaging: 6th International Workshop, MLMI 2015, organisé en conjunction avec MICCAI 2015, Munich, Allemagne, , Proceedings (Vol. 9 352, p. 118), Springer (résumé).
  21. M. Veres, G. Lacey et G. W. Taylor (juin 2015), « Deep Learning Architectures for Soil Property Prediction » [PDF], dans Computer and Robot Vision (CRV), 2015 12th Conference on (pp. 8-15), IEEE (résumé).
  22. (en) « Horus:The Invisible Made Audible », sur horus.tech, (consulté le 10 décembre 2016).
  23. P. Baldi, P. Sadowski et D. Whiteson (2014), « Searching for exotic particles in highenergy physics with deep learning », Nature Communications, 5. 23.
  24. Comment le deep learning révolutionne la recherche en intelligence artificielle, Morgane Tual, Le Monde, .
  25. Hawking : « L'intelligence artificielle pourrait mettre fin à l'humanité », Le Monde, .
  26. « Bill Gates est « préoccupé par la superintelligence » artificielle », journal Le Monde, .
  27. « Les 37 projets d’Elon Musk contre les dangers de l’intelligence artificielle », Le Monde, .
  28. « Le professeur Stuart Russell, scientifique reconnu, craint que l’intelligence artificielle ne devienne un danger pour l’humanité », Reinformation.tv, .
  29. a, b et c Will Machines Eliminate Us? Will Knight, MIT Technology Review, .
  30. Exigence de volumes grandissants de données, Search Business Analytics, 2017.

Voir aussi[modifier | modifier le code]

Articles connexes[modifier | modifier le code]

Notions

Théoriciens

Liens externes[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

(en) Ian J. Goodfellow, Yoshua Bengio et Aaron Courville, Deep Learning, MIT Press, (ISBN 0262035618, lire en ligne) [détail des éditions]



  • Y. Bengio (2009), Learning Deep Architectures for AI, Now Publishers, 149, 195.