Calcul par réservoir

Un article de Wikipédia, l'encyclopédie libre.

Le calcul par réservoir (de l'anglais reservoir computing) est un cadre de calcul dérivé de la théorie des réseaux de neurones récurrents qui mappe un ou plusieurs signaux d'entrée dans des espaces de calcul de dimension supérieure grâce à la dynamique d'un système fixe et non linéaire appelé réservoir [1]. Une fois que le signal d'entrée est introduit dans le réservoir, qui est traité comme une « boîte noire », un simple mécanisme de lecture est entraîné pour lire l'état du réservoir et le mapper à la sortie souhaitée[1]. Le premier avantage clé de ce cadre est que l'entraînement n'est effectué qu'à la lecture, car le réservoir reste fixe[1]. Le second est que la puissance de calcul de systèmes naturellement disponibles (c'est-à-dire physique) peut être utilisée pour réduire le coût de calcul effectif[2].

Histoire[modifier | modifier le code]

Le concept de calcul par réservoir découle de l'utilisation de connexions récursives au sein de réseaux de neurones pour créer un système dynamique complexe[3]. Il s'agit d'une généralisation des architectures de réseaux de neurones antérieures telles que les réseaux de neurones récurrents, les machines à état liquide développé en 2002[4] et les réseaux à état d'écho en 2001[5].

Certaines architectures décrites par plusieurs équipes en 1995[6],[7] correspondent au cadre de calcul par réservoir mais n'ont pas à l'époque réussi à stimuler la communauté scientifique assez pour développer le concept.[8]

Le calcul de réservoir s'étend également à des systèmes physiques qui ne sont pas des réseaux au sens classique du terme, mais plutôt des systèmes continus dans l'espace et/ou le temps : par exemple, un simple seau d'eau peut servir de réservoir qui effectue des calculs sur des entrées données comme des perturbations surface[9]. La complexité résultante de ces réseaux de neurones récurrents s'est avérée utile pour résoudre une variété de problèmes, notamment le traitement du langage et la modélisation de système dynamique[3]. Cependant, la formation de réseaux de neurones récurrents est difficile et coûteuse en calcul[3]. Le calcul de réservoir réduit ces défis liés à la formation en fixant la dynamique du réservoir et en n'entraînant que la couche de sortie linéaire[3].

Une grande variété de systèmes dynamiques non linéaires peut servir de réservoir pour effectuer des calculs. Ces dernières années, les lasers à semi-conducteurs ont suscité un intérêt considérable car le calcul peut être rapide et économe en énergie par rapport aux composants électriques.

Les progrès récents de l'IA et de la théorie de l'information quantique ont donné naissance au concept de réseaux de neurones quantiques[10]. Ceux-ci sont prometteurs dans le traitement de l'information quantique (un défi pour les réseaux classiques) mais peuvent également trouver une application dans la résolution de problèmes classiques[10]. En 2018, une réalisation physique d'une architecture de calcul par réservoir quantique a été réalisé sous la forme de spins nucléaires au sein d'un solide moléculaire[11]. En 2019, une autre implémentation possible de processeurs de réservoirs quantiques a été proposée sous la forme de réseaux fermioniques bidimensionnels[11]. En 2020, la réalisation du calcul de réservoir sur des ordinateurs quantiques basés sur des portes quantique a été proposée et démontrée sur des ordinateurs quantiques supraconducteurs d'IBM (disponible sur le cloud)[12].

Des ordinateurs de réservoir ont été utilisés pour l'analyse de séries chronologiques. En particulier pour la prédiction de séries chronologiques chaotiques [13],[14] , la séparation de signaux chaotiques [15] et l'inférence de liens de réseaux à partir de leur dynamique[16].

Calcul par réservoir classique[modifier | modifier le code]

Réservoir[modifier | modifier le code]

Le « réservoir » dans le calcul par réservoir est la structure interne de l'ordinateur. Il doit avoir deux propriétés : il doit être composé d'unités individuelles non linéaires; il doit être capable de stocker des informations. La non-linéarité décrit la réponse de chaque unité à l'entrée, ce qui permet aux calculateur par réservoir de résoudre des problèmes complexes. Les réservoirs sont capables de stocker des informations en connectant les unités dans des boucles internes récurrentes, où l'entrée précédente affecte la réponse suivante. Le changement de réaction dû au passé permet aux ordinateurs d'être entraînés à accomplir des tâches spécifiques[17].

Les réservoirs peuvent être virtuels ou physiques[17]. Les réservoirs virtuels sont généralement générés de manière aléatoire et sont conçus comme des réseaux de neurones[17],[3]. Les réservoirs virtuels peuvent être conçus pour avoir une non-linéarité et des boucles récurrentes, mais, contrairement aux réseaux de neurones, les connexions entre les unités sont aléatoires et restent inchangées tout au long du calcul[17]. Les réservoirs physiques sont possibles en raison de la non-linéarité inhérente à beaucoup de systèmes naturels. Par exemple l'interaction entre les ondulations à la surface de l'eau relève d'une dynamique non linéaire permettant création d'un réservoir, et un calculateur par réservoir servant à la reconnaissance de formes a été développée en entrant d'abord les ondulations avec des moteurs électriques, puis en enregistrant et en analysant les ondulations dans la couche de lecture[1].

Lecture[modifier | modifier le code]

La couche de lecture est une couche neuronale qui effectue une transformation linéaire à la sortie du réservoir[1]. Les poids de la couche de lecture sont entraînés en analysant les motifs spatio-temporels du réservoir après excitation par des entrées connues, et en utilisant une méthode d'entraînement telle qu'une régression linéaire ou une régression Ridge[1]. Sa mise en œuvre dépend de la configuration spatio-temporelle des réservoirs, le détail des méthodes de lecture est adapté à chaque type de réservoir[1]. Par exemple, la lecture pour un calculateur par réservoir utilisant un récipient de liquide comme réservoir pourrait impliquer l'observation de motifs spatio-temporels à la surface du liquide[1].

Différents types de réservoir[modifier | modifier le code]

Réseau de réverbération contextuelle[modifier | modifier le code]

Un des premiers exemples de calcul de réservoir était le réseau de réverbération contextuelle[18]. Dans cette architecture, une couche d'entrée alimente un système dynamique de grande dimension qui est lu par un perceptron monocouche pouvant être entraîné . Deux types de systèmes dynamiques ont été décrits : un réseau neuronal récurrent avec des poids aléatoires fixes et un système de réaction-diffusion continue inspiré du modèle de morphogenèse d'Alan Turing . Au niveau de la couche entraînable, le perceptron associe des entrées de courant aux signaux qui se répercutent dans le système dynamique ; ces derniers étaient censés fournir un « contexte » dynamique pour les entrées. Dans le langage des travaux ultérieurs, le système de réaction-diffusion a servi de réservoir.

Réseau d'écho d'état[modifier | modifier le code]

  Le modèle Tree Echo State Network (TreeESN) représente une généralisation du cadre de calcul de réservoir aux données structurées en arbre[19].

Machine à état liquide[modifier | modifier le code]

Article détaillé : Machine à état liquide.

 

Calcul transitoire non linéaire[modifier | modifier le code]

Ce type de traitement de l'information est plus pertinent lorsque les signaux d'entrée dépendant du temps s'écartent de la dynamique interne du mécanisme[20]. Ces départs provoquent des transitoires ou des altercations temporaires qui sont représentées dans la sortie de l'appareil[20].

Calcul par réservoir profond[modifier | modifier le code]

L'extension du framework de calcul de réservoir vers le Deep Learning, avec l'introduction du Deep Reservoir Computing et du modèle Deep Echo State Network (DeepESN) [21],[22],[23] permet de développer des modèles efficacement entraînés pour le traitement hiérarchique de données temporelles, permettant en même temps de cherche le rôle inhérent de la composition en couches dans les réseaux de neurones récurrents .

Calcul par réservoir quantique[modifier | modifier le code]

Le calcul par réservoir quantique peut utiliser la nature non linéaire des interactions ou des processus de mécanique quantique pour former les réservoirs non linéaires caractéristiques [10],[24],[12] mais peut également être effectué avec des réservoirs linéaires lorsque l'injection de l'entrée dans le réservoir crée la non-linéarité. Le mariage de l'apprentissage automatique et des dispositifs quantiques conduit à l'émergence de l'informatique neuromorphique quantique en tant que nouveau domaine de recherche[25].

Types[modifier | modifier le code]

États gaussiens d'oscillateurs harmoniques quantiques en interaction[modifier | modifier le code]

Les états gaussiens sont une classe paradigmatique d'états des systèmes quantiques à variables continues . Bien qu'ils puissent aujourd'hui être créés et manipulés dans, par exemple, des plates-formes optiques de pointe[26], naturellement robustes à la décohérence, il est bien connu qu'ils ne sont pas suffisants, par exemple, pour l'informatique quantique universelle car les transformations qui préserver la nature gaussienne d'un état sont linéaires[27]. Normalement, la dynamique linéaire ne serait pas non plus suffisante pour le calcul de réservoir non trivial. Il est néanmoins possible d'exploiter une telle dynamique à des fins de calcul de réservoir en considérant un réseau d' oscillateurs harmoniques quantiques en interaction et en injectant l'entrée par remises à zéro périodiques d'état d'un sous-ensemble des oscillateurs. Avec un choix approprié de la façon dont les états de ce sous-ensemble d'oscillateurs dépendent de l'entrée, les observables du reste des oscillateurs peuvent devenir des fonctions non linéaires de l'entrée adaptées au calcul du réservoir ; en effet, grâce aux propriétés de ces fonctions, même le calcul universel de réservoir devient possible en combinant les observables avec une fonction de lecture polynomiale. En principe, de tels ordinateurs de réservoir pourraient être mis en œuvre avec des processus paramétriques optiques multimodes contrôlés[28], cependant, l'extraction efficace de la sortie du système est difficile, en particulier dans le régime quantique où la mesure en retour doit être prise en compte.

Réseaux de points quantiques 2D[modifier | modifier le code]

Dans cette architecture, le couplage aléatoire entre les sites du réseau confère au réservoir la propriété de « boîte noire » inhérente aux processeurs de réservoir[10]. Le réservoir est alors excité, qui sert d'entrée, par un champ électromagnétique incident. La lecture se produit sous la forme de nombres professionnels de sites de réseau, qui sont naturellement des fonctions non linéaires de l'entrée[10].

Spins nucléaires dans un solide moléculaire[modifier | modifier le code]

Dans cette architecture, le couplage mécanique quantique entre les spins d'atomes voisins dans le solide moléculaire fournit la non-linéarité requise pour créer l'espace de calcul de plus grande dimension[11]. Le réservoir est excité radiofréquence électromagnétique réglée avec les fréquences de résonance des spins nucléaires pertinents[11]. La lecture se produit en mesurant les états de rotation nucléaire[11].

Calcul par réservoir sur des ordinateurs quantiques supraconducteurs à court terme basés sur des grilles[modifier | modifier le code]

Le modèle le plus répandu de l'informatique quantique est le modèle basé sur les portes où le calcul quantique est effectué par des applications séquentielles de portes quantiques unitaires sur les qubits d'un ordinateur quantique. Une théorie pour la mise en œuvre du calcul de réservoir sur un ordinateur quantique basé sur des portes avec des démonstrations de preuve de principe sur un certain nombre d'ordinateurs quantiques supraconducteurs bruyants à échelle intermédiaire (NISQ) d'IBM [29] a été présentée dans une revue[12] scientifique.

Voir aussi[modifier | modifier le code]

Références[modifier | modifier le code]

 

  1. ↑ a b c d e f g et h Tanaka, Yamane, Héroux et Nakane, « Recent advances in physical reservoir computing: A review », Neural Networks, vol. 115,‎ , p. 100–123 (ISSN 0893-6080, PMID 30981085, DOI 10.1016/j.neunet.2019.03.005)
  2. ↑ Röhm et Lüdge, « Multiplexed networks: reservoir computing with virtual and real nodes », Journal of Physics Communications, vol. 2, no 8,‎ , p. 085007 (ISSN 2399-6528, DOI 10.1088/2399-6528/aad56d, Bibcode 2018JPhCo...2h5007R)
  3. ↑ a b c d et e Schrauwen, Benjamin, David Verstraeten, and Jan Van Campenhout. "An overview of reservoir computing: theory, applications, and implementations." Proceedings of the European Symposium on Artificial Neural Networks ESANN 2007, pp. 471–482.
  4. ↑ Wolfgang Maass, Thomas Natschläger et Henry Markram, « Real-Time Computing Without Stable States: A New Framework for Neural Computation Based on Perturbations », Neural Computation, vol. 14, no 11,‎ , p. 2531–2560 (ISSN 0899-7667, DOI 10.1162/089976602760407955, lire en ligne, consulté le )
  5. ↑ (en) « (PDF) The" echo state" approach to analysing and training recurrent neural networks-with an erratum note' », sur ResearchGate (consulté le )
  6. ↑ (en) Peter F. Dominey, « Complex sensory-motor sequence learning based on recurrent state representation and reinforcement learning », Biological Cybernetics, vol. 73, no 3,‎ , p. 265–274 (ISSN 0340-1200 et 1432-0770, DOI 10.1007/BF00201428, lire en ligne, consulté le )
  7. ↑ (en) D. Buonomano et M. Merzenich, « Temporal information transformed into a spatial code by a neural network with realistic properties », Science, vol. 267, no 5200,‎ , p. 1028–1030 (ISSN 0036-8075 et 1095-9203, DOI 10.1126/science.7863330, lire en ligne, consulté le )
  8. ↑ David Verstraeten 2009, Early descriptions of neural RC systems, p. 18.
  9. ↑ C. Fernando et Sampsa Sojakka, Advances in Artificial Life, vol. 2801, coll. « Lecture Notes in Computer Science », , 588–597 p. (ISBN 978-3-540-20057-4, DOI 10.1007/978-3-540-39432-7_63, lire en ligne), « Pattern Recognition in a Bucket ».
  10. ↑ a b c d et e Ghosh, Opala, Matuszewski et Paterek, « Quantum reservoir processing », NPJ Quantum Information, vol. 5, no 1,‎ , p. 35 (ISSN 2056-6387, DOI 10.1038/s41534-019-0149-8, Bibcode 2019npjQI...5...35G, arXiv 1811.10335)
  11. ↑ a b c d et e (en) Auteur inconnu, « Machine learning with controllable quantum dynamics of a nuclear spin ensemble in a solid », .
  12. ↑ a b et c Chen, Nurdin et Yamamoto, « Temporal Information Processing on Noisy Quantum Computers », Physical Review Applied, vol. 14, no 2,‎ , p. 024065 (DOI 10.1103/PhysRevApplied.14.024065, Bibcode 2020PhRvP..14b4065C, arXiv 2001.09498, lire en ligne)
  13. ↑ Pathak, Hunt, Girvan et Lu, « Model-Free Prediction of Large Spatiotemporally Chaotic Systems from Data: A Reservoir Computing Approach », Physical Review Letters, vol. 120, no 2,‎ , p. 024102 (PMID 29376715, DOI 10.1103/PhysRevLett.120.024102, Bibcode 2018PhRvL.120b4102P)
  14. ↑ Vlachas, Pathak, Hunt et Sapsis, « Backpropagation algorithms and Reservoir Computing in Recurrent Neural Networks for the forecasting of complex spatiotemporal dynamics », Neural Networks, vol. 126,‎ , p. 191–217 (ISSN 0893-6080, DOI 10.1016/j.neunet.2020.02.016, arXiv 1910.05266, lire en ligne)
  15. ↑ Krishnagopal, Girvan, Ott et Hunt, « Separation of chaotic signals by reservoir computing », Chaos: An Interdisciplinary Journal of Nonlinear Science, vol. 30, no 2,‎ , p. 023123 (ISSN 1054-1500, PMID 32113243, DOI 10.1063/1.5132766, Bibcode 2020Chaos..30b3123K, arXiv 1910.10080, lire en ligne)
  16. ↑ Banerjee, Hart, Roy et Ott, « Machine Learning Link Inference of Noisy Delay-Coupled Networks with Optoelectronic Experimental Tests », Physical Review X, vol. 11, no 3,‎ , p. 031014 (DOI 10.1103/PhysRevX.11.031014).
  17. ↑ a b c et d (en) Soriano, « Viewpoint: Reservoir Computing Speeds Up », Physics, vol. 10,‎ (DOI 10.1103/Physics.10.12, lire en ligne)
  18. ↑ Kirby, Kevin. "Context dynamics in neural sequential learning." Proceedings of the Florida Artificial Intelligence Research Symposium FLAIRS (1991), 66–70.
  19. ↑ Gallicchio et Micheli, « Tree Echo State Networks », Neurocomputing, vol. 101,‎ , p. 319–337 (DOI 10.1016/j.neucom.2012.08.017)
  20. ↑ a et b Crook, « Nonlinear Transient Computation », Neurocomputing, vol. 70, nos 7–9,‎ , p. 1167–1176 (DOI 10.1016/j.neucom.2006.10.148)
  21. ↑ Gallicchio, Micheli et Pedrelli, « Deep reservoir computing: A critical experimental analysis », Neurocomputing, vol. 268,‎ , p. 87–99 (DOI 10.1016/j.neucom.2016.12.089)
  22. ↑ Gallicchio et Micheli, « Echo State Property of Deep Reservoir Computing Networks », Cognitive Computation, vol. 9, no 3,‎ , p. 337–350 (ISSN 1866-9956, DOI 10.1007/s12559-017-9461-9)
  23. ↑ Gallicchio, Micheli et Pedrelli, « Design of deep echo state networks », Neural Networks, vol. 108,‎ , p. 33–47 (ISSN 0893-6080, PMID 30138751, DOI 10.1016/j.neunet.2018.08.002)
  24. ↑ Chen et Nurdin, « Learning nonlinear input–output maps with dissipative quantum systems », Quantum Information Processing, vol. 18, no 7,‎ , p. 198 (DOI 10.1007/s11128-019-2311-9, Bibcode 2019QuIP...18..198C, arXiv 1901.01653, lire en ligne)
  25. ↑ Marković et Grollier, « Quantum Neuromorphic Computing », Applied Physics Letters, vol. 117, no 15,‎ , p. 150501 (DOI 10.1063/5.0020014, Bibcode 2020ApPhL.117o0501M, arXiv 2006.15111, lire en ligne)
  26. ↑ (en) Roslund, de Araújo, Jiang et Fabre, « Wavelength-multiplexed quantum networks with ultrafast frequency combs », Nature Photonics, vol. 8, no 2,‎ , p. 109–112 (ISSN 1749-4893, DOI 10.1038/nphoton.2013.340, arXiv 1307.1216, lire en ligne)
  27. ↑ Bartlett, Sanders, Braunstein et Nemoto, « Efficient Classical Simulation of Continuous Variable Quantum Information Processes », Physical Review Letters, vol. 88, no 9,‎ , p. 097904 (PMID 11864057, DOI 10.1103/PhysRevLett.88.097904, Bibcode 2002PhRvL..88i7904B, arXiv quant-ph/0109047, lire en ligne)
  28. ↑ (en) Nokkala, Arzani, Galve et Zambrini, « Reconfigurable optical implementation of quantum complex networks », New Journal of Physics, vol. 20, no 5,‎ , p. 053024 (ISSN 1367-2630, DOI 10.1088/1367-2630/aabc77, Bibcode 2018NJPh...20e3024N, arXiv 1708.08726, lire en ligne)
  29. ↑ John Preskill. "Quantum Computing in the NISQ era and beyond." Quantum 2,79 (2018).

Annexes[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

Document utilisé pour la rédaction de l’article : document utilisé comme source pour la rédaction de cet article.

(en) David Verstraeten, Reservoir Computing: computation with dynamical systems, , 206 p. (ISBN 978-90-8578-309-1, lire en ligne)

Lectures complémentaires[modifier | modifier le code]

Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Calcul_par_réservoir&oldid=204896665 ».