Apprentissage profond

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Un réseau de neurones convolutifs (CNN) est une méthode d'apprentissage automatique reposant sur l'apprentissage profond.

L'apprentissage profond[1] (en anglais deep learning, deep structured learning, hierarchical learning) est un ensemble de méthodes d'apprentissage automatique tentant de modéliser avec un haut niveau d’abstraction des données grâce à des architectures articulées de différentes transformations non linéaires[réf. souhaitée]. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage. Dans les années 2000, ces progrès ont suscité des investissements privés, universitaires et publics importants, notamment de la part du GAFA (Google, Apple, Facebook, Amazon)[2].

En octobre 2015, le programme alphaGo ayant appris à jouer au jeu de go par la méthode de l'apprentissage profond a battu par 5 parties à 0 le champion européen Fan Hui[3]. En mars 2016, le même programme a battu le champion du monde Lee Sedol 4 parties à 1[4].

Description et contexte[modifier | modifier le code]

Le « deep learning » fait partie d’une famille de méthodes d'apprentissage automatique fondées sur l’apprentissage de modèles de données. Une observation (comme une image) peut être représentée de différentes façons par un vecteur de données en fonction de :

  • l’intensité des pixels dont elle est constituée ;
  • ses différentes arêtes ;
  • les différentes régions de forme particulière ;
  • etc.

Certaines représentations et une bonne capacité d'analyse automatique des différenciations[5] rendent la tâche d’apprentissage plus efficace.

Une des perspectives des techniques de l'apprentissage profond est le remplacement de travaux qui aujourd’hui sont encore relativement laborieux par des modèles algorithmiques d’apprentissage supervisé, non supervisé (c’est-à-dire ne nécessitant pas de connaissances spécifiques du problème étudié) ou encore par des techniques d’extraction hiérarchique des caractéristiques.

Les recherches dans ce domaine s’efforcent de construire de meilleures représentations du réel et de créer des modèles capables d’apprendre ces représentations à partir de données non labellisées à grande échelle. Certaines de ces représentations s’inspirent des dernières avancées en neuroscience qui sont grosso modo des interprétations du traitement de l’information et des modèles de communication du système nerveux, de la même façon que le système nerveux tente d’établir des connexions en fonction des messages reçus, de la réponse neuronale consécutive et du poids des connexions entre les neurones du cerveau.

Les différentes architectures de « deep learning » telles que les « deep neural networks », les « convolutional deep neural networks », et les « deep belief network » ont des champs d’application tels que la vision par ordinateur, la reconnaissance automatique de la parole, le traitement automatique du langage naturel, la reconnaissance audio et la bioinformatique[6],[7] où elles ont démontré qu’elles étaient capables de produire d’excellents résultats pour différentes problématiques.

Définition[modifier | modifier le code]

Les techniques d'apprentissage profond constituent une classe d’algorithmes d'apprentissage automatique :

  • Utilisant différentes couches d’unité de traitement non linéaire pour l’extraction et la transformation des caractéristiques. Chaque couche prend en entrée la sortie de la précédente. Les algorithmes peuvent être supervisés ou non supervisés et leurs applications comprennent la reconnaissance de modèles ou la classification statistique ;
  • Elles fonctionnent avec un apprentissage à plusieurs niveaux de détails ou de représentations des données. À travers les différentes couches on passe de paramètres de bas niveau à des paramètres de plus haut niveau ;
  • Ces différents niveaux correspondent à différents niveaux d’abstraction des données ;
  • Ce nouveau champ d’étude a pour objectif d’avancer davantage vers les capacités d’intelligence artificielle. Ces architectures permettent aujourd’hui de donner du sens à des données sous forme d’image, de son ou de texte.

L'apprentissage profond utilise des couches cachées de réseaux de neurones artificiels, des « Restricted Boltzmann machines », et des séries de calculs propositionnels complexes. Les algorithmes d'apprentissage profond s’opposent aux algorithmes d’apprentissage peu profonds du fait du nombre de transformations réalisées sur les données entre la couche d’entrée et la couche de sortie, où une transformation correspond à une unité de traitement définie par des poids et des seuils.

Histoire et domaines d'application[modifier | modifier le code]

Ces techniques sont nées de la conjonction du développement de l'informatique et de l'apparition dans les années 1980 d'algorithmes d'analyse discriminante[8] et apprenants[9].

Domaines d'application[modifier | modifier le code]

Ces techniques se développent dans le domaine de l'informatique appliquée aux NTIC (reconnaissance visuelle — par exemple d'un panneau de signalisation par un robot ou une voiture autonome[10] — et vocale[11] notamment) à la robotique, à la bioinformatique[12] (dont par exemple pour l'étude de l'ADN[7] et des segments non codants du génome[6]) la reconnaissance ou comparaison de formes[13], la sécurité, la santé, etc.[2], la pédagogie assistée par l'informatique[14], et plus généralement à l'intelligence artificielle. L'apprentissage profond peut par exemple permettre à un ordinateur de mieux reconnaitre des objets hautement déformables[15] et/ou analyser par exemple les émotions révélées par un visage photographié ou filmé[16], ou analyser les mouvements et position des doigts d'une main, ce qui peut être utile pour traduire le langage des signes[17], améliorer le positionnement automatique d'une caméra, etc.[18]. Elles sont utilisées pour certaines formes d'aide au diagnostic médical (ex. : reconnaissance automatique d'un cancer en imagerie médicale[19]), ou de prospective ou de prédiction (ex. : prédiction des propriétés d'un sol filmé par un robot[20]).

L’une des applications les plus significatives du deep learning à la santé publique est le projet Horus[21] développé par NVIDIA qui a remporté cette année le prix de l’innovation sociale. Il s’agit d’un appareil portable utilisant un puissant algorithme embarqué (NVIDIA Jetson) et qui permet aux mal-voyants ou aux aveugles, de pouvoir s’orienter, reconnaitre des personnes ou des objets et facilitant ainsi leur quotidien. Dans le domaine de la physique, l'apprentissage profond est utilisé pour la recherche sur les particules exotiques[22].

Des machines qui "apprennent"[modifier | modifier le code]

Si l’apprentissage était uniquement l’apanage d’êtres vivants évolués, le Deep Learning a, en permettant à des machines d’apprendre, changé la perception que les neuroscientifiques et des spécialistes des sciences cognitives avaient du cerveau biologique[réf. nécessaire]. Non seulement, cette nouvelle discipline de l’intelligence artificielle s’est mise à mimer le fonctionnement des circuits neuronaux[non neutre] mais elle a réussi le pari de reproduire certaines de ses fonctions, du moins l’apprentissage.

Une équipe de chercheurs de l’université de Berkeley [23], a récemment mis en place un nouvel algorithme d’apprentissage profond permettant à des robots d’apprendre à effectuer des tâches motrices sans l’assistance d’humains et sans pré-programmation préalable, et ce en apprenant sur leurs erreurs. Cette technique d’apprentissage similaire à celle utilisé chez le mammifère (essai-erreur) pour apprendre a été très fructueuse car en effet les robots amélioraient leurs compétences au fil des entraînements. Ainsi le Deep Learning a ouvert un grand champ à l’intelligence artificielle et à l’autonomie des machines qui en sont dotés. Par exemple, grâce aux processeurs graphiques hautement performants combinés au logiciel Jeston TK1 développé par la societé NVIDIA, de plus en plus de robots intelligents tels que Mantis [24] ont vu le jour. Ils sont notamment capables de résoudre un problème, réaliser des choix décisionnels, d’analyser et de comprendre leur environnement.

Réactions[modifier | modifier le code]

Initié à la fin des années 1980 avec la naissance des premiers réseaux de neurones artificiels[25] multicouches, eux mêmes reprenant un concept datant de la fin des années 1950 (perceptron, etc.), le concept d'apprentissage profond ne se concrétise que dans les années 2010. Dès lors, au sein même de la communauté des concepteurs et fournisseurs en technologies, plusieurs personnalités craignent qu'à plus ou moins long terme l'intelligence artificielle ne vienne dépasser les performances de l'intelligence humaine[26]. Parmi celles-ci l'astrophysicien britannique Stephen Hawking[27], l'un des fondateurs de Microsoft, Bill Gates[28], le PDG de Tesla, Elon Musk[29] et l'informaticien Stuart Russell, spécialiste en IA[30]. D'autres, comme Raymond Kurzweil au contraire, se réclamant de la philosophie transhumaniste, s'en réjouissent, qualifiant ce dépassement de singularité technologique.

Ces craintes sont relativisées par des chercheurs en intelligence artificielle comme Yoshua Bengio, pour qui on a largement exagéré les progrès récents faits par l'IA, et occulté la lenteur du processus d'amélioration[31]. Pour Bengio, l'IA est encore loin du stade où l'on peut dire que l'ordinateur "comprend", et qu'il manque encore quelque chose de fondamental pour arriver à cela[31]. Enfin, la crainte selon laquelle l'IA s'améliorerait elle-même et deviendrait hors de contrôle lui semble infondée car les techniques actuelles, très spécialisées, réclamant un temps d'apprentissage très long, ne reposent pas sur une forme d'auto-programmation, et ce n'est pas un axe de recherche[31].

Notes et références[modifier | modifier le code]

  1. Une source pour la traduction en apprentissage profond : Yoshua Bengio, « Introduction aux algorithmes d’apprentissage profonds », sur Université de Montréal.
  2. a et b "Deep learning" : les dessous d'une technologie de rupture, analyse prospective, Futurible.
  3. http://www.lemonde.fr/pixels/article/2016/01/27/premiere-defaite-d-un-professionnel-du-go-contre-une-intelligence-artificielle_4854886_4408996.html.
  4. William Audureau, « Jeu de go : pour Lee Sedol, la victoire de la machine est moins tactique que psychologique », Le Monde.fr,‎ (ISSN 1950-6244, lire en ligne).
  5. A. G. Baydin, B. A. Pearlmutter, A. A. Radul et J. M. Siskind (2015), « Automatic differentiation in machine learning: a survey », arXiv preprint arXiv:1502.05767 . 185.
  6. a et b J. Zhou et O. G. Troyanskaya (2015), « Predicting effects of noncoding variants with deep learning-based sequence model », Nature Methods, 12(10), 931-934 (résumé).
  7. a et b B. Alipanahi, A. Delong, M. T. Weirauch et B. J. Frey (2015), « Predicting the sequence specificities of DNA-and RNA-binding proteins by deep learning », Nature Biotechnology (résumé).
  8. Collobert, R. (2011). Deep learning for efficient discriminative parsing. In AISTATS'2011 . 95.
  9. D. H. Ackley, G. E. Hinton et T. J. Sejnowski (1985), « A learning algorithm for Boltzmann machines », Cognitive Science, 9, 147{169. 590.
  10. D. Ciresan, U. Meier, J. Masci et J. Schmidhuber (2012), « Multi-column deep neural network for traffic sign classiffication », Neural Networks, 32, 333-338. 22, 195.
  11. M. Cai, Y. Shi et J. Liu (2013), « Deep maxout neural networks for speech recognition » dans Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop on, pages 291-296. IEEE. 198.
  12. P. Baldi et S. Brunak (1998), « Bioinformatics, the Machine Learning Approach », MIT Press, 579.
  13. D. Held, S. Thrun et S. Savarese (2015), « Deep Learning for Single-View Instance Recognition », arXiv preprint arXiv:1507.08286.
  14. W. Y. Lim, A. Ong, L. L. Soh et A. Sufi (2016), « Teachers’ Voices and Change: The Structure and Agency Dialectics that Shaped Teachers’ Pedagogy Toward Deep Learning », dans Future Learning in Primary Schools (pp. 147-158), Springer Singapore.
  15. I. Mariolis, G. Peleka, A. Kargakos, et S. Malassiotis (juillet 2015). Pose and category recognition of highly deformable objects using deep learning. In Advanced Robotics (ICAR), 2015 International Conference on (pp. 655-662). IEEE (résumé).
  16. S. E. Kahou, X. Bouthillier, P. Lamblin, C. Gulcehre, V. Michalski, K. Konda, … et Y. Bengio (2015). EmoNets: Multimodal deep learning approaches for emotion recognition in video. arXiv preprint arXiv:1503.01800.
  17. M. Oberweger, P. Wohlhart et V. Lepetit (2015), « Hands Deep in Deep Learning for Hand Pose Estimation », arXiv preprint arXiv:1502.06807.
  18. A. Kendall et R. Cipolla (2015), « Modelling Uncertainty in Deep Learning for Camera Relocalization », arXiv preprint arXiv:1509.05909 (résumé).
  19. A. Halpern et J. R. Smith (octobre 2015), « Deep Learning, Sparse Coding, and SVM for Melanoma Recognition in Dermoscopy Images », dans Machine Learning in Medical Imaging: 6th International Workshop, MLMI 2015, organisé en conjunction avec MICCAI 2015, Munich, Allemagne, 5 octobre 2015, Proceedings (Vol. 9 352, p. 118), Springer (résumé).
  20. M. Veres, G. Lacey et G. W. Taylor (juin 2015), « Deep Learning Architectures for Soil Property Prediction » [PDF], dans Computer and Robot Vision (CRV), 2015 12th Conference on (pp. 8-15), IEEE (résumé).
  21. (en) « Horus:The Invisible Made Audible », sur horus.tech, (consulté le 10 décembre 2016)
  22. P. Baldi, P. Sadowski et D. Whiteson (2014), « Searching for exotic particles in highenergy physics with deep learning », Nature Communications, 5. 23.
  23. (en) « New ‘deep learning’ technique enables robot mastery of skills via trial and error », sur news.berkeley.edu, (consulté le 10 décembre 2016)
  24. « NVIDIA GTC : Ces robots qui apprennent tout seuls, grâce à leur GPU », sur tomshardware.fr, (consulté le 10 décembre 2016)
  25. J. Schmidhuber (2015), « Deep learning in neural networks: An overview », Neural Networks, 61, 85-117.
  26. Comment le deep learning révolutionne la recherche en intelligence artificielle, Morgane Tual, Le Monde, 24 juillet 2015.
  27. Hawking : « L'intelligence artificielle pourrait mettre fin à l'humanité », Le Monde, 3 décembre 2014.
  28. « Bill Gates est « préoccupé par la superintelligence » artificielle », journal Le Monde, 29 janvier 2015.
  29. « Les 37 projets d’Elon Musk contre les dangers de l’intelligence artificielle », Le Monde, 6 juillet 2015.
  30. « Le professeur Stuart Russell, scientifique reconnu, craint que l’intelligence artificielle ne devienne un danger pour l’humanité », Reinformation.tv, 20 juillet 2015.
  31. a, b et c Will Machines Eliminate Us? Will Knight, MIT Technology Review, 29 janvier 2016

Voir aussi[modifier | modifier le code]

Articles connexes[modifier | modifier le code]

Notions

Théoriciens

Liens externes[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

  • (en) Yoshua Bengio, Ian J. Goodfellow et Aaron Courville, Deep Learning, MIT Press, (lire en ligne)
  • Y. Bengio (2009), Learning Deep Architectures for AI, Now Publishers, 149, 195