HEllo

Cette page est un brouillon appartenant à Nsaura

Conseils de rédaction

→ N'hésitez pas à publier sur le brouillon un texte inachevé et à le modifier autant que vous le souhaitez.
→ Pour enregistrer vos modifications au brouillon, il est nécessaire de cliquer sur le bouton bleu : « Publier les modifications ». Il n'y a pas d'enregistrement automatique.

Si votre but est de publier un nouvel article, votre brouillon doit respecter les points suivants :

Respectez le droit d'auteur en créant un texte spécialement pour Wikipédia en français (pas de copier-coller venu d'ailleurs).
Indiquez les éléments démontrant la notoriété du sujet (aide).
Liez chaque fait présenté à une source de qualité (quelles sources – comment les insérer).
Utilisez un ton neutre, qui ne soit ni orienté ni publicitaire (aide).
Veillez également à structurer votre article, de manière à ce qu'il soit conforme aux autres pages de l'encyclopédie (structurer – mettre en page).

→ Si ces points sont respectés, pour transformer votre brouillon en article, utilisez le bouton « publier le brouillon » en haut à droite. Votre brouillon sera alors transféré dans l'espace encyclopédique.

voir la couche de perte ?? Réseau neuronal convolutif#Couche de perte (LOSS)

Inception Network

On parle les prochains paragraphes : ébauches d'article sur les ReLU en français. L'article qui a été créé (non par moi) est Redresseur (réseaux neuronaux)

Unités linéaires rectifiées[modifier | modifier le code]

Dans le contexte des réseaux de neurones artificiels le rectifieur linéaire (ReLU en anglais) utilise une fonction d'activation de l'entrée consistant à ne prendre que sa partie positive ^[1] :

g(z)=\max\{0,z\}

Il existe plusieurs généralisations du rectifieur linéaire, elles sont essentiellement basées sur la non nullité de la partie négative de l'entrée, offrant parfois une meilleur optimisation du réseau, d'autres fois l'identification de caractéristiques remarquables dans les données.

Propriétés mathématiques du ReLU[modifier | modifier le code]

La fonction $g(z)$ est continue sur $\mathbb {R}$ et est différentiable sur $\mathbb {R} ^{*}$ . La non-différentiabilité de $g(z)$ en $z=0$ peut sembler problématique dans l'optique de l'optimisation d'un réseau de neurones par descente de gradient, cependant, en pratique, cette fonction permet des performances d'apprentissages satisfaisantes au point où elles sont souvent utilisées comme standards dans plusieurs tâches comme la vision par ordinateur ou des tâches de régression.

Cette utilisation est en effet justifiée dans le cadre de l'optimisation d'un réseau de neurones d'une part parce que l'optimisation n'est pas exacte. La minimisation est sujette aux erreurs numériques, ainsi si on demande l'évaluation de g(0), il est très fort probable que l'ordinateur évalue g(0+ $\varepsilon$ ) ^[1]. On s'affranchit alors du problème de la non-différentiabilité de $g$ en considérant les valeurs des dérivées à gauche (0) ou à droite (1).

↑ ^{a et b} Ian Goodfellow, L'apprentissage profond

//// Jusquici

[:0-1] {a et b} Ian Goodfellow, L'apprentissage profond

[1]