Utilisateur:Goel/Réseau neuronal convolutif

(Article traduit de son équivalent en anglais)

Dans l'apprentissage automatique, un réseau de neurones convolutifs (CNN ou ConvNet) est un type de réseau de neurones artificiels acycliques (feedforward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones individuels sont arrangés de telle sorte qu'ils répondent aux régions qui se chevauchent lors du pavage du champ visuel . Leur fonctionnement est inspiré par les processus biologiques , ils conssistent en un empilage multicouche de perceptrons, dont le but est de prétraiter de petites quantités d'informations. Les réseaux neuronaux convolutifs ont de larges applications dans la reconnaissance d'image et vidéo, les systèmes de recommandation et le traitement du langage naturel .

Présentation

Considérons l'analyse d'une image.

Un réseau neuronal convolutif se compose de 2 types de neurones artificiels, agencés en « couches » traitant successivement l'information :

• les neurones de traitement, qui traitent une portion limitée de l'image,
• les neurones de mise en commun des sorties.

Un traitement non-linéaire et ponctuel peut être appliqué entre chaque couche pour améliorer la pertinence du résultat.

Base

Dans le cadre de la reconnaissance d'image, cette dernière est « pavée », c'est-à-dire découpée en petites zones (appelées tuiles). Chaque tuile sera traitée individuellement par un ensemble de neurones qui constitue la première couche du traitement. Dans les faits, la zone analysée est légèrement plus grande que la tuile et est appelée « champ récepteur ». Les champs récepteurs se chevauchent donc, afin d'obtenir une meilleure représentation de l'image originale ainsi que la cohérence du traitement au fil des couches de traitement. En sortie d'une couche de traitement un nouveau pavage peut être appliqué.

Traitement convolutif

L'élément spécifique des réseaux convolutifs est la (les) couche spéciale de mise en commun des signaux issus des neurones de traitement (localement ou globalement) . Cette mise en commun est basée sur une opération mathématique appelée « convolution » (une sorte de fusion entre deux fonctions mathématiques). Le résultat du traitement peut être modulé en fonction de l'étendue des champs récepteurs qui sont utilisés lors d'un traitement de convolution.

Un avantage majeur des réseaux convolution est l'utilisation d'un poids unique associé aux signaux entrant dans tous les neurones d'une même couche de convolution (ce qui signifie que le même filtre est utilisé pour chaque pixel dans la couche). Cette méthode réduit l'empreinte mémoire et améliore les performances.

Certains réseaux de neurones à temporisation (delay) utilisent également une architecture très similaire aux réseaux neuronaux de convolution, en particulier ceux pour la reconnaissance d'image et/ou la classification des tâches, puisque le pavage en sortie de chaque couche de neurones peut être minuté d'une manière utile pour l'analyse des images

Comparé à d'autres algorithmes de classification de l'image, les réseaux de neurones convolutifs utilisent relativement peu de pré-traitement. Cela signifie que le réseau est responsable de l'apprentissage de ses propres filtres, qui dans les algorithmes traditionnels, seraient faits à la main. L'absence d'une connaissance initiale et d'intervention humaine est un atout majeur pour les CNN.

Histoire

La conception des réseaux de neurones convolutifs suit la découverte de mécanismes visuels dans les organismes vivants. Début 1968, des travaux ont montré chez l'animal, que le cortex visuel contient des arrangements complexes de cellules, responsables de la détection de la lumière dans les sous-régions du champ visuel qui se chevauchent, appelés champs réceptifs. Le document a identifié deux types de cellules de base: les cellules simples, qui répondent au maximum à des modèles de pointe comme spécifiques à l'intérieur de leur champ récepteur, et les cellules complexes, qui ont des champs récepteurs plus grands et sont localement invariant à la position exacte du motif. Ces cellules agissent comme des filtres locaux sur l'espace d'entrée.

Le neocognitron, un prédécesseur de réseaux de convolution, a été introduit dans un document de 1980 . Les neocognitron diffère de réseaux convolution parce qu'il ne force pas les unités situées à plusieurs positions d'avoir les mêmes poids trainable. Cette idée apparaît en 1986 dans la version livre du papier de rétropropagation originale (Figure 14). Ils ont été développés en 1988 pour les signaux temporels Leur conception a été améliorée en 1998, généralisée en 2003, et simplifié dans la même année. Le célèbre réseau Lenet-5 est capable de reconnaître les chiffres et est appliqué à la reconnaissance de nombres manuscrits sur des chèques. Toutefois, compte tenu des problèmes plus complexes de la largeur et la profondeur du réseau augmente et devient limitée par les ressources informatiques ainsi obstacle à l'exécution.

Une conception différente CNN a été proposé en 1988 pour l'application de la décomposition de unidimensionnelles électromyographie signaux. Cette conception a été modifiée en 1989 à d'autres conceptions à base de convolution.

Suite à l'article de 2005 qui a établi la valeur du GPU Computing pour l'apprentissage de la machine, plusieurs publications ont décrit des moyens plus efficaces pour former des réseaux de neurones à convolution utilisant le GPU Computing En 2011, ils ont été affinés et mis en œuvre sur un GPU, avec des résultats impressionnants En 2012, Ciresan et al. Significativement amélioré la meilleure performance dans la littérature pour plusieurs images base de données s, y compris le base de données MNIST, la base de données noRb, le HWDB1. 0 données (caractères chinois), l'ensemble de données CIFAR10 (ensemble de données de 60000 32x32 images RVB marqués), et l'ensemble de données IMAGEnet

Caractéristiques distinctives

Bien que traditionnelle perceptron multicouches (MLP) modèles ont été utilisés avec succès pour la reconnaissance d'image, en raison de la connectivité complète entre les nœuds qu'ils souffrent de la malédiction de dimensionnalité et donc n'échelle pas bien à des images haute résolution.

couches CNN disposées en 3 dimensions

Par exemple, dans ICRA-10, les images ne sont de taille 32x32x3 (32 de large, 32 de haut, 3 canaux de couleur), de sorte qu'un seul neurone entièrement connecté dans une première couche cachée d'un réseau régulier Neural aurait 32 * 32 * 3 = 3072 poids. Une image 200x200, cependant, conduirait à des neurones qui ont 200 * 200 * 3 = 120.000 poids.

Une telle architecture de réseau ne prend pas en compte la structure spatiale des données, le traitement des pixels d'entrée qui sont éloignés et rapprochés exactement sur le même pied. De toute évidence, la pleine connectivité des neurones est inutile dans le cadre de la reconnaissance de l'image, et le grand nombre de paramètres conduit rapidement à overfitting.

les réseaux de neurones convolutifs sont biologiquement inspirés des variantes de perceptrons multicouches, conçu pour émuler le comportement d'un cortex visuel. Ces modèles atténuer les défis posés par l'architecture MLP en exploitant la forte corrélation actuelle spatialement locale dans les images naturelles. Par opposition à MLP, CNN ont les traits distinctifs suivants:

1. 'Volumes 3D de neurones' . Les couches d'un CNN ont neurones disposés en 3 dimensions: largeur, hauteur et profondeur. Les neurones à l'intérieur d'une couche sont uniquement reliés à une petite zone de la couche devant elle, appelé champ réceptif. Distinct types de couches, à la fois localement et complètement connectés, sont empilés pour former une architecture CNN.
2. 'De la connectivité locale' : suivant le concept de champ réceptif s, CNNs exploiter la corrélation spatiale locale en appliquant un modèle de connectivité locale entre les neurones des couches adjacentes. L'architecture assure ainsi que les «filtres» apprises produisent la réponse la plus forte à un motif d'entrée dans l'espace local. Empilement beaucoup de ces couches conduit à des «filtres» non-linéaires qui deviennent de plus en plus «globale» (à savoir en réponse à une région plus vaste de l'espace de pixel). Cela permet au réseau de d'abord créer de bonnes représentations de petites parties de l'entrée, puis assembler les représentations de plus grandes surfaces d'eux.
3. 'Poids partagés' : Dans CNNs, chaque filtre est répliqué à travers tout le champ visuel. Ces unités répliqués partagent la même paramétrisation (vecteur de poids et biais) et forment une carte de fonction. Cela signifie que tous les neurones dans une couche donnée convolutif détectent exactement la même fonction. unités Réplication de cette manière permet de fonctionnalités pour être détectées indépendamment de leur position dans le champ visuel, ce qui constitue la propriété de traduction invariance.

Ensemble, ces propriétés permettent des réseaux de neurones à convolution pour parvenir à une meilleure généralisation sur des problèmes de vision. le partage de poids aide également en réduisant considérablement le nombre de paramètres libres étant appris, réduisant ainsi les besoins en mémoire pour le fonctionnement du réseau. La diminution de l'empreinte mémoire permet la formation des réseaux plus grands et plus puissants.

Les blocs de construction

Une architecture CNN est formée par un empilement de couches distinctes qui transforment le volume d'entrée dans un volume de sortie (par exemple, les scores de maintien de la classe) par une fonction différentiable. Quelques types distincts de couches sont couramment utilisés. Nous discutons plus loin:

Neurones d'une couche de convolution, relié à leur champ récepteur

Couche convolution

La couche convolution est le bloc de construction de base d'un CNN. Les paramètres de la couche se composent d'un ensemble de filtres apprenables (ou noyaux), qui ont un petit champ récepteur, mais étendent à travers toute la profondeur du volume d'entrée. Au cours de la passe avant, chaque filtre est convoluée à travers la largeur et la hauteur du volume d'entrée, le calcul du produit scalaire entre les entrées du filtre et l'entrée et la production d'une carte d'activation de deux dimensions de ce filtre. En conséquence, le réseau apprend les filtres qui activent quand ils voient un certain type spécifique de fonction à une position spatiale dans l'entrée.

Empiler les cartes d'activation pour tous les filtres le long de la dimension de profondeur formant le volume de sortie complet de la couche de convolution. Chaque entrée dans le volume de sortie peut donc aussi être interprété comme un signal de sortie d'un neurone qui ressemble à une petite région dans les paramètres d'entrée et partage avec les neurones de la même carte d'activation.

Connectivité locale

Lorsque vous traitez avec des entrées de grande dimension tels que des images, il est impossible de se connecter à tous les neurones neurones dans le volume précédent, car une telle architecture de réseau ne prend pas la structure spatiale des données en compte. exploiter les réseaux convolutifs corrélation spatiale locale en application d'une configuration de connectivité locale entre les neurones des couches adjacentes: chaque neurone est connecté à seulement une petite zone du volume d'entrée. L'étendue de cette connectivité est un hyperparam'etre appelé le champ récepteur du neurone. Les connexions sont locales dans l'espace (le long de la largeur et hauteur), mais toujours étendent sur toute la profondeur du volume d'entrée. Une telle architecture assure que les filtres appris produisent la plus forte réponse à une forme d'entrée dans l'espace local.

Arrangement spatial

Trois hyperparamètres contrôler la taille du volume de sortie de la couche de convolution: le 'profondeur, stride' et 'zero-padding' .

1. 'Profondeur' du volume de sortie commande le nombre de neurones dans la couche qui se connectent à la même région du volume d'entrée. Tous ces neurones apprendront à activer pour les différentes fonctionnalités de l'entrée. Par exemple, si la première couche convolution prend l'image brute en entrée, puis des neurones différents le long de la dimension de profondeur peuvent activer en présence de divers bords orienté, ou taches de couleur.
2. 'Stride' contrôle la façon dont les colonnes de profondeur autour des dimensions spatiales (largeur et hauteur) sont alloués. Lorsque la foulée est 1, une nouvelle colonne de profondeur de neurones est alloué à des positions spatiales seulement 1 unité spatiale à part. Cela conduit à des champs récepteurs fortement se chevauchent entre les colonnes, et aussi aux grands volumes de production. A l'inverse, si des progrès plus élevés sont utilisés, les zones réceptives se chevauchent moins et le volume de sortie qui en résulte aura des dimensions plus petites dans l'espace.
3. Parfois, il est commode de l'entrée pad avec des zéros à la frontière du volume d'entrée. La taille de ce 'zero-padding' est un troisième hyperparamètre. Remplissage de zéros permet de contrôler la dimension spatiale des volumes de production. En particulier, il est parfois souhaitable de conserver exactement la taille spatiale du volume d'entrée.

La taille spatiale du volume de sortie peut être calculée en fonction de la taille du volume d'entrée $W$, la taille du champ du noyau des neurones de la couche Conv $K$, le pas avec lequel ils sont appliquées $S$, et la quantité de zéro padding $P$ utilisé à la frontière. La formule pour calculer le nombre de neurones « adaptent » dans un volume donné est donné par $(W-K+2P)/S+1$. Si ce nombre est un nombre entier, les progrès sont mal réglés et les neurones ne peuvent pas être carrelés pour tenir dans le volume d'entrée d'une manière symétrique. En général, la mise en zéro padding pour être $P=(K-1)/2$ lorsque la foulée est $S=1$ assure que le volume d'entrée et le volume de sortie auront le même dimensionner l'espace. Bien qu'il soit généralement pas tout à fait nécessaire d'utiliser la totalité des neurones de la couche précédente, par exemple, vous pouvez décider d'utiliser seulement une partie de rembourrage.

Paramètre Partage

système de partage des paramètres est utilisé dans les couches convolution pour contrôler le nombre de paramètres libres. Elle repose sur une hypothèse raisonnable: Que si une caractéristique de patch est utile pour calculer à une certaine position dans l'espace, alors il devrait également être utile pour calculer à une position différente. En d'autres mots, désignant une seule tranche 2 dimensions de la profondeur en tant que 'profondeur tranche' , nous limitons les neurones dans chaque tranche de profondeur à utiliser les mêmes poids et biais.

Étant donné que tous les neurones dans une seule tranche de profondeur partagent la même paramétrisation, puis la passe en avant dans chaque tranche de profondeur de la couche de CONV peut être calculée comme convolution des poids du neurone avec le volume d'entrée (d'où le nom: convolution Couche). Par conséquent, il est courant de se référer aux ensembles de poids de filtre (ou noyau), qui est convoluée avec l'entrée. Le résultat de cette convolution est une carte d'activation, et l'ensemble des cartes d'activation pour chacun des filtres différents sont empilés le long de la dimension en profondeur pour produire le volume de sortie. Partage des paramètres contribue à l'invariance par translation de l'architecture CNN.

Il est important de noter que, parfois, le partage des paramètres hypothèse n'a pas de sens. Cela est particulièrement le cas lorsque les images d'entrée à un CNN ont une structure centrée spécifique, dans laquelle nous nous attendons complètement différentes caractéristiques à tirer sur les différents emplacements spatiaux. Un exemple pratique est lorsque l'entrée sont des visages qui ont été centrées sur l'image: nous pourrions nous attendre différentes caractéristiques spécifiques des yeux ou des cheveux spécifiques à tirer dans différentes parties de l'image. Dans ce cas, il est courant de détendre le système de partage des paramètres, et au lieu simplement appeler la couche une couche connectée localement.

Couche Pooling

Fichier:Pooling.png Max

Max mise en commun avec un filtre 2x2 et stride = 2

Un autre concept important de CNNs est mise en commun, ce qui est une forme de sous-échantillonnage non-linéaire. l'image d'entrée mettant en commun des cloisons en une série de rectangles ne se chevauchant pas, et pour chaque sous-région, par exemple, les sorties au maximum. L'intuition est que, une fois une caractéristique a été trouvée, son emplacement exact est pas aussi important que son emplacement approximatif par rapport à d'autres caractéristiques. La fonction de la couche de mise en commun est de réduire progressivement la taille spatiale de la représentation afin de réduire la quantité de paramètres et de calcul dans le réseau, et donc de contrôler également overfitting. Il est fréquent d'insérer périodiquement une couche de pooling entre-deux couches Conv successives dans une architecture CNN. L'opération Pooling fournit une forme de traduction invariance.

La couche de pooling fonctionne indépendamment sur chaque tranche de profondeur de l'entrée et redimensionne spatialement. La forme la plus courante est une couche de mise en commun avec des filtres de taille 2x2 appliquées avec une foulée de 2 sous-échantillonne à chaque tranche de profondeur dans l'entrée par 2 le long de la largeur et la hauteur, en rejetant 75% des activations. Chaque opération MAX serait, dans ce cas prendre un max de plus de 4 chiffres. La dimension de profondeur reste inchangée.

En plus de la mise en commun max, les unités de mise en commun peuvent également effectuer d'autres fonctions, telles que la mise en commun moyenne ou même norme L2 mise en commun . pooling moyenne a souvent été utilisé historiquement, mais a récemment perdu la faveur par rapport à l'opération de mise en commun max, qui a été montré pour mieux travailler dans la pratique.

En raison de la réduction agressive de la taille de la représentation (qui est utile seulement pour les petits ensembles de données pour contrôler overfitting), la tendance actuelle dans la littérature est à l'aide de petits filtres ou jeter la couche de mise en commun tout à fait

Couche Relu

Relu est l'abréviation de Unités Rectifié linéaires. Ceci est une couche de neurones qui applique la non saturant activation de la fonction $f(x)=\ max(0,x)$ . Il augmente les propriétés non linéaires de la fonction de décision et de l'ensemble du réseau sans affecter les champs récepteurs de la couche de convolution.

D'autres fonctions sont également utilisées pour augmenter la non-linéarité, par exemple le saturant tangente hyperbolique $f(x)=\ tanh(x)$, < maths alt = "fonction de x est égal à la valeur absolue de la tangente hyperbolique de x"> f (x) = | \ tanh (x) | </math>, et la fonction sigmoïde mathématiques alt = "fonction <de x est égal à l'inverse d'un e plus pour la puissance moins x "> f (x) = (1 + e ^ {-} x) ^ {- 1} </math>. Par rapport à d'autres fonctions de l'utilisation de Relu est préférable, car il en résulte la formation de réseau neuronal plusieurs fois plus rapide, sans faire une différence significative à la généralisation de précision.

Couche entièrement connecté

Enfin, après plusieurs couches de mise en commun de convolution et max, le raisonnement de haut niveau dans le réseau neuronal se fait via des couches entièrement connectées. Neurones dans une couche entièrement connecté ont des connexions complètes à toutes les activations dans la couche précédente, comme on le voit dans les réseaux réguliers de neurones. Leurs activations peuvent donc être calculées avec une multiplication matricielle suivie d'un décalage de polarisation.

Couche de perte

La couche de perte spécifie comment la formation du réseau pénalise l'écart entre les étiquettes prévues et vraies et est normalement la dernière couche dans le réseau. Diverses fonctions de perte appropriées pour différentes tâches peuvent y être utilisés. Softmax la perte est utilisée pour prédire une seule classe de K Classes mutuellement exclusives. sigmoïde entropie croisée la perte est utilisée pour prédire K valeurs de probabilité indépendante en $[0,1]$. euclidienne la perte est utilisée pour régressant aux étiquettes à valeurs réelles $[-\ infty,\ infty]$.

modèles de calque

Modèle:Section Confondre La forme la plus commune d'une architecture CNN empile quelques couches Conv-Relu, les suit avec des couches POOL, et répète ce schéma jusqu'à ce que l'entrée a été fusionné dans l'espace à une petite taille. À un certain point, il est fréquent de faire la transition vers les couches entièrement connectées. La dernière couche entièrement connecté maintient la sortie, tels que les scores de classe. Voici quelques architectures communes CNN qui suivent ce modèle:

• INPUT -> FC implémente un classificateur linéaire
• INPUT -> CONV -> RELU -> FC
• INPUT -> [CONV -> RELU -> POOL] * 2 -> FC -> RELU -> FC Ici, il y a une couche de CONV unique entre chaque couche POOL
• INPUT -> [CONV -> RELU -> CONV -> RELU -> POOL] * 3 -> [FC -> RELU] * 2 -> FC Ici, il y a deux couches CONV empilées avant chaque couche PISCINE.

Fichier:Cnn.png typique

Architecture typique CNN

Empilage des couches de CONV avec de plus petits filtres plutôt que d'avoir une couche de CONV avec un grand filtre permet d'exprimer des fonctionnalités plus puissantes de l'entrée, avec moins de paramètres. Comme un inconvénient pratique, plus de mémoire pourrait être nécessaire pour contenir tous les résultats intermédiaires de la couche CONV pour l'étape rétropropagation.

hyperparamètres Choisir

CNNs utiliser plus hyperparamètres qu'un MLP standard. Alors que les règles habituelles pour les taux d'apprentissage et des constantes de régularisation appliquent toujours, ce qui suit devrait garder à l'esprit lors de l'optimisation des réseaux de convolution.

Nombre de filtres

Depuis fonction taille de la carte diminue avec la profondeur, les couches proches de la couche d'entrée ont tendance à avoir moins de filtres tandis que les couches, plus haut, peuvent avoir plus. Pour égaliser le calcul à chaque couche, le produit du nombre de caractéristiques et le nombre de positions de pixel est généralement choisi pour être à peu près constante à travers les couches. La préservation de l'information sur l'entrée, il faudrait maintenir le nombre total d'activations (nombre de cartes fonction multiplié par le nombre de positions de pixel) pour être non décroissante d'une couche à l'autre.

Le nombre de cartes fonctionnalité contrôle directement la capacité et dépend du nombre d'exemples disponibles et la complexité de la tâche.

Filtre forme

formes communes sur le terrain dans la littérature varient considérablement, et sont généralement choisis en fonction de l'ensemble de données. Les meilleurs résultats sur les images de MNIST taille (28x28) sont habituellement dans la gamme de 5x5 sur la première couche, tandis que les ensembles de données d'image naturelle (souvent avec des centaines de pixels dans chaque dimension) ont tendance à utiliser de plus grands filtres de première couche de 12x12 de forme ou 15x15.

Le défi est donc de trouver le bon niveau de granularité de manière à créer des abstractions à l'échelle appropriée, étant donné un ensemble de données particulier.

Forme Max Pooling

Les valeurs typiques sont 2x2. Très grands volumes d'entrée peuvent justifier la mise en commun 4x4 dans les couches inférieures. Cependant, le choix des formes plus grandes seront considérablement réduire la dimension du signal, et peut entraîner des rejets trop d'informations.

méthodes de régularisation

Empirique

Dropout

Depuis une couche entièrement connecté occupe la plupart des paramètres, il est enclin à overfitting. Le abandon méthode est introduit pour éviter le surajustement. A chaque étape de la formation, les nœuds individuels sont soit « abandonnés » du filet avec une probabilité $1-p$ ou conservés avec une probabilité $p$, de sorte qu'un réseau réduit est laissée; bords entrants et sortants à un nœud tombé-out^[Quoi ?] sont également supprimés. Seul le réseau réduit est formé sur les données à ce stade. Les nœuds supprimés sont ensuite réinsérés dans le réseau avec leurs poids originaux.

Dans les étapes de formation, la probabilité d'un nœud caché sera retenu (à savoir pas abandonné) est habituellement de 0,5; pour les nœuds d'entrée de la probabilité de rétention devrait être beaucoup plus élevé, intuitivement, car l'information est directement perdue lorsque les nœuds d'entrée sont ignorés.

Au temps de test après la formation est terminée, nous aimerait idéalement trouver un moyen de l'échantillon de tous les possibles $2^{n}$ chute-out des réseaux; Malheureusement, cela est impossible pour les grandes valeurs de $n$. Cependant, nous pouvons trouver une approximation en utilisant le réseau complet avec la sortie de chaque nœud pondérée par un facteur de $p$, de sorte que la valeur attendue de la sortie d'un nœud est le même que dans les étapes de formation.