Utilisateur:Louis PL/Brouillon/1

Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'il est possible d'approximer n'importe quelle fonction continue sur des sous-ensembles compacts de Rⁿ avec un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (par exemple, un perceptron multicouche).

Les différentes versions du théorème, démontrées entre 1989 et 1999, ont été cruciales pour relancer l’enthousiasme des chercheurs pour les réseaux de neurones, après l’échec du perceptron de Rosenblatt à apprendre la fonction OU exclusif. En effet, la plupart des problèmes traités par les réseaux de neurones se résument soit à séparer différents ensembles de points par des fonctions (par exemple pour la classification de données), soit à approximer une fonction sur un compact (par exemple pour la prédiction de variables continues, comme la température), d’où les différentes versions du théorème.

Histoire

Une des premières versions du théorème est démontrée par George Cybenko (en) en 1989 pour des fonctions d'activation sigmoïdes. Kurt Hornik montre en 1991 que ce n'est pas le choix spécifique de la fonction d'activation, mais plutôt l'architecture multicouche à propagation avant qui donne aux réseaux de neurones le potentiel d'être des approximateurs universels. Moshe Leshno et al en 1993 et plus tard Allan Pinkus en 1999 ont montré que la propriété d'approximation universelle est équivalente à l'utilisation d'une fonction d'activation non-polynomiale.

Le cas avec profondeur arbitraire a aussi été étudié par nombre d'auteurs, comme Zhou Lu et al en 2017, Boris Hanin et Mark Sellke en 2018, et Patrick Kidger et Terry Lyons en 2020. Le résultat sur la largeur minimal par couche a été raffiné en 2020 pour les réseaux résiduels.

Plusieurs extensions du théorème existent, comme celle à des fonctions d'activation discontinues, à des domaines non compacts, à des réseaux certifiables, et à des architectures de réseaux et des topologies alternatives.

Énoncés

Notations

On note ${\mathcal {M}}_{d}(\sigma )$ l'ensemble des fonctions associées à un perceptron multicouche à une couche caché de $d$ neurones utilisant $\sigma$ comme fonction d'activation, c'est à dire que :

$${\mathcal {M}}_{d}(\sigma )=\left\{x\mapsto \sum _{i=1}^{d}w_{i}^{(2)}\sigma \left(\langle w_{i}^{(1)},x\rangle +b_{i}^{(1)}\right)\,{\Big |}\,\,w_{i}^{(1)}\in \mathbb {R} ^{n},b_{i}^{(1)}\in \mathbb {R} ,w_{i}^{(2)}\in \mathbb {R} \right\}.$$Les vecteurs $w_{i}$ sont les poids du réseau de neurone, et les scalaires $b_{i}$ sont ses biais. On note également ${\mathcal {M}}(\sigma )=\bigcup _{d\in \mathbb {N} }{\mathcal {M}}_{d}(\sigma )$.

Les réseaux de neurones générant de telles fonctions peuvent être représentés par le graphe orienté ci-dessous. La couche des sorties de ces réseaux utilise l'application identité comme fonction d'activation et ne possède pas de biais, ces deux éléments n'augmentant pas les capacités d'approximation du perceptron multicouche.

Schéma des perceptrons multicouches générant les fonctions de l'ensemble ${\mathcal {M}}(\sigma )$.

Cas général

La version la plus générale du théorème est démontrée en 1999 par Allan Pinkus :

Théorème d'approximation universelle (Pinkus, 1999) — Soit $\sigma \in C^{0}(\mathbb {R} ,\mathbb {R} )$, alors ${\mathcal {M}}(\sigma )$ est dense dans $C^{0}(\mathbb {R} ^{n},\mathbb {R} )$ pour la topologie de la convergence uniforme sur les compacts si et seulement si $\sigma$ n'est pas un polynôme.