« Apprentissage fédéré » : différence entre les versions

Un article de Wikipédia, l'encyclopédie libre.
Navigation interactive dans l’historique
← Modification précédenteModification suivante →
Contenu supprimé Contenu ajouté
VisuelWikicode
MarcT0K (discuter | contributions)
893 modifications
Ajout d'une section "Défis de l'apprentissage fédéré"
MarcT0K (discuter | contributions)
893 modifications
Ajout d'une section "Applications"
Ligne 15 : Ligne 15 :


=== Apprentissage inter-silo et apprentissage inter-appareil ===
=== Apprentissage inter-silo et apprentissage inter-appareil ===
L'apprentissage fédéré inter-silo (ou ''cross-silo learning'' en anglais)<ref name=":0" /> correspond à un apprentissage impliquant un nombre limité de serveurs puissants. Par exemple, la collaboration entre plusieurs hôpitaux proposée par [[Owkin]]<ref>{{Lien web |langue=fr-FR |auteur=Ambassade de France aux Etats-Unis - Service pour la Science et la Technologie |titre=Le « federated learning », un paradigme d’apprentissage en plein essor aux Etats-Unis – France-Science |url=https://france-science.com/le-federated-learning-un-paradigme-dapprentissage-en-plein-essor-aux-etats-unis/ |consulté le=2023-02-18}}</ref>{{,}}<ref>{{Lien web |langue=en |auteur=Marion Oberhuber |titre=Federated learning in healthcare – the future of collaborative clinical and biomedical research |url=https://owkin.com/publications-and-news/blogs/federated-learning-in-healthcare-the-future-of-collaborative-clinical-and-biomedical-research/ |site=Owkin Blog |date=14 février 2017 |consulté le=2023-02-18}}</ref> correspond à un apprentissage inter-silo. D'un autre côté, l'apprentissage inter-appareil (ou ''cross-device learning'' en anglais)<ref name=":0" /> implique un large nombre d'appareils peu puissant: par exemple, des millions de smartphones. Par exemple, l'utilisation d'apprentissage fédéré pour le [[Gboard]] par Google<ref>{{Lien web |langue=fr |auteur=Laboratoire d'Innovation Numérique de la CNIL |titre=Chacun chez soi et les données seront bien gardées : l’apprentissage fédéré {{!}} LINC |url=https://linc.cnil.fr/fr/chacun-chez-soi-et-les-donnees-seront-bien-gardees-lapprentissage-federe |site=linc.cnil.fr |date=04 avril 2022 |consulté le=2023-02-18}}</ref> correspond à un apprentissage inter-appareil.
L'apprentissage fédéré inter-silo (ou ''cross-silo learning'' en anglais)<ref name=":0" /> correspond à un apprentissage impliquant un nombre limité de serveurs puissants. Par exemple, la collaboration entre plusieurs hôpitaux proposée par [[Owkin]]<ref name=":6">{{Lien web |langue=fr-FR |auteur=Ambassade de France aux Etats-Unis - Service pour la Science et la Technologie |titre=Le « federated learning », un paradigme d’apprentissage en plein essor aux Etats-Unis – France-Science |url=https://france-science.com/le-federated-learning-un-paradigme-dapprentissage-en-plein-essor-aux-etats-unis/ |consulté le=2023-02-18}}</ref>{{,}}<ref name=":7">{{Lien web |langue=en |auteur=Marion Oberhuber |titre=Federated learning in healthcare – the future of collaborative clinical and biomedical research |url=https://owkin.com/publications-and-news/blogs/federated-learning-in-healthcare-the-future-of-collaborative-clinical-and-biomedical-research/ |site=Owkin Blog |date=14 février 2017 |consulté le=2023-02-18}}</ref> correspond à un apprentissage inter-silo. D'un autre côté, l'apprentissage inter-appareil (ou ''cross-device learning'' en anglais)<ref name=":0" /> implique un large nombre d'appareils peu puissant: par exemple, des millions de smartphones. Par exemple, l'utilisation d'apprentissage fédéré pour le [[Gboard]] par Google<ref name=":8">{{Lien web |langue=en |titre=Federated Learning: Collaborative Machine Learning without Centralized Training Data |url=https://ai.googleblog.com/2017/04/federated-learning-collaborative.html |site=ai.googleblog.com |consulté le=2023-02-20}}</ref>{{,}}<ref name=":9">{{Lien web |langue=fr |auteur=Laboratoire d'Innovation Numérique de la CNIL |titre=Chacun chez soi et les données seront bien gardées : l’apprentissage fédéré {{!}} LINC |url=https://linc.cnil.fr/fr/chacun-chez-soi-et-les-donnees-seront-bien-gardees-lapprentissage-federe |site=linc.cnil.fr |date=04 avril 2022 |consulté le=2023-02-18}}</ref> correspond à un apprentissage inter-appareil.
[[Fichier:Federated learning (horizontal vs. vertical.png|vignette|320x320px|Illustration de la différence entre apprentissage fédéré horizontal (à gauche) et apprentissage fédéré vertical (à droite)]]
[[Fichier:Federated learning (horizontal vs. vertical.png|vignette|320x320px|Illustration de la différence entre apprentissage fédéré horizontal (à gauche) et apprentissage fédéré vertical (à droite)]]


Ligne 26 : Ligne 26 :


== Défis de l'apprentissage fédéré ==
== Défis de l'apprentissage fédéré ==
Il y a 5 problèmes majeurs qui concentre l'attention de la recherche en apprentissage fédéré<ref name=":0" />: la [[Extensibilité|scalabilité]] des protocoles, la préservation de la vie privée, la résistance aux attaques, l'{{Lien|langue=en|trad=Fairness (machine learning)|fr=équité algorithmique}} et l'apprentissage personnalisé.
Il y a 5 problèmes majeurs qui concentrent l'attention de la recherche en apprentissage fédéré<ref name=":0" />: la [[Extensibilité|scalabilité]] des protocoles, la préservation de la vie privée, la résistance aux attaques, l'{{Lien|langue=en|trad=Fairness (machine learning)|fr=équité algorithmique}} et l'apprentissage personnalisé.


=== Scalabilité des protocoles ===
=== Scalabilité des protocoles ===
L'apprentissage fédéré (particulièrement l'apprentissage inter-appareils) apporte de fortes contraintes liées à la mise à l'échelle. Un protocole impliquant des milliers voire des millions d'agents pose des problèmes spécifiques absent à plus petite échelle. Premièrement, plusieurs techniques<ref name=":3" />{{,}}<ref>{{Article|prénom1=Zachary|nom1=Charles|prénom2=Kallista|nom2=Bonawitz|prénom3=Stanislav|nom3=Chiknavaryan|prénom4=Brendan|nom4=McMahan|titre=Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning|périodique=arXiv:2208.09432 [cs]|date=2022-08-19|lire en ligne=http://arxiv.org/abs/2208.09432|consulté le=2023-02-19}}</ref> visent à réduire le coût du protocole. Ces techniques permettent, par exemple, de rendre les coûts abordables pour des appareils peu puissants tels que des smartphones.
L'apprentissage fédéré (particulièrement l'apprentissage inter-appareils) apporte de fortes contraintes liées à la mise à l'échelle. Un protocole impliquant des milliers voire des millions d'agents pose des problèmes spécifiques absent à plus petite échelle. Premièrement, plusieurs techniques<ref name=":3" />{{,}}<ref>{{Article|prénom1=Zachary|nom1=Charles|prénom2=Kallista|nom2=Bonawitz|prénom3=Stanislav|nom3=Chiknavaryan|prénom4=Brendan|nom4=McMahan|titre=Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning|périodique=arXiv:2208.09432 [cs]|date=2022-08-19|lire en ligne=http://arxiv.org/abs/2208.09432|consulté le=2023-02-19}}</ref> visent à réduire le cout du protocole. Ces techniques permettent, par exemple, de rendre les couts abordables pour des appareils peu puissants tels que des smartphones.


Deuxièmement, la présence de milliers d'appareils introduit des problématiques liées à la distribution des données: il est fort probable que les données ne soient pas [[Variables indépendantes et identiquement distribuées|indépendantes et identiquement distribuées]] (i.i.d.). L'hypothèse i.i.d. est une hypothèse simplificatrice souvent utilisée pour obtenir des premiers résultats mais elle "''n'est clairement presque jamais vérifiée en pratique''"<ref name=":0" />. Ainsi, des chercheurs travaillent sur des algorithmes robustes à une distribution non i.i.d. des données<ref>{{Article|langue=en|prénom1=Sai Praneeth|nom1=Karimireddy|prénom2=Satyen|nom2=Kale|prénom3=Mehryar|nom3=Mohri|prénom4=Sashank|nom4=Reddi|titre=SCAFFOLD: Stochastic Controlled Averaging for Federated Learning|périodique=Proceedings of the 37th International Conference on Machine Learning|éditeur=PMLR|date=2020-11-21|lire en ligne=https://proceedings.mlr.press/v119/karimireddy20a.html|consulté le=2023-02-19|pages=5132–5143}}</ref>{{,}}<ref>{{Article|prénom1=Maxence|nom1=Noble|prénom2=Aurélien|nom2=Bellet|prénom3=Aymeric|nom3=Dieuleveut|titre=Differentially Private Federated Learning on Heterogeneous Data|périodique=arXiv:2111.09278 [cs, math, stat]|date=2023-01-05|lire en ligne=http://arxiv.org/abs/2111.09278|consulté le=2023-02-19}}</ref>.
Deuxièmement, la présence de milliers d'appareils introduit des problématiques liées à la distribution des données: il est fort probable que les données ne soient pas [[Variables indépendantes et identiquement distribuées|indépendantes et identiquement distribuées]] (i.i.d.). L'hypothèse i.i.d. est une hypothèse simplificatrice souvent utilisée pour obtenir des premiers résultats mais elle "''n'est clairement presque jamais vérifiée en pratique''"<ref name=":0" />. Ainsi, des chercheurs travaillent sur des algorithmes robustes à une distribution non i.i.d. des données<ref>{{Article|langue=en|prénom1=Sai Praneeth|nom1=Karimireddy|prénom2=Satyen|nom2=Kale|prénom3=Mehryar|nom3=Mohri|prénom4=Sashank|nom4=Reddi|titre=SCAFFOLD: Stochastic Controlled Averaging for Federated Learning|périodique=Proceedings of the 37th International Conference on Machine Learning|éditeur=PMLR|date=2020-11-21|lire en ligne=https://proceedings.mlr.press/v119/karimireddy20a.html|consulté le=2023-02-19|pages=5132–5143}}</ref>{{,}}<ref>{{Article|prénom1=Maxence|nom1=Noble|prénom2=Aurélien|nom2=Bellet|prénom3=Aymeric|nom3=Dieuleveut|titre=Differentially Private Federated Learning on Heterogeneous Data|périodique=arXiv:2111.09278 [cs, math, stat]|date=2023-01-05|lire en ligne=http://arxiv.org/abs/2111.09278|consulté le=2023-02-19}}</ref>.
Ligne 45 : Ligne 45 :
=== Apprentissage personnalisé ===
=== Apprentissage personnalisé ===
L'apprentissage personnalisé vise à entrainer des modèles spécifiques à chaque agent ou chaque groupe d'agent plutôt que d’entrainer un unique modèle global<ref name=":0" />. La personnalisation est surtout étudié en apprentissage fédéré décentralisé<ref name=":4" /> car ce paradigme empêche par construction la constitution d'un modèle global unique (à cause de l'absence d'un agent central).
L'apprentissage personnalisé vise à entrainer des modèles spécifiques à chaque agent ou chaque groupe d'agent plutôt que d’entrainer un unique modèle global<ref name=":0" />. La personnalisation est surtout étudié en apprentissage fédéré décentralisé<ref name=":4" /> car ce paradigme empêche par construction la constitution d'un modèle global unique (à cause de l'absence d'un agent central).

== Applications ==
Bien que l'apprentissage fédéré ait bénéficié d'un intérêt récent lancé en 2016<ref name=":2" />{{,}}<ref>{{Article|langue=en|prénom1=Reza|nom1=Shokri|prénom2=Vitaly|nom2=Shmatikov|titre=Privacy-Preserving Deep Learning|périodique=Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security|éditeur=ACM|date=2015-10-12|isbn=978-1-4503-3832-5|doi=10.1145/2810103.2813687|lire en ligne=https://dl.acm.org/doi/10.1145/2810103.2813687|consulté le=2023-02-20|pages=1310–1321}}</ref>, plusieurs applications concrètes de l'apprentissage fédéré ont déjà été décrites voire même déployées.

=== Clavier intelligent ===
La première application concrète promue fut celle des chercheurs de Google à l'origine d'un article fondateur de l'apprentissage fédéré<ref name=":2" />. Cette application propose d'utiliser l'apprentissage fédéré afin d’entrainer le modèle de recommandation du clavier intelligent pour smartphone: le [[Gboard]]<ref name=":8" />{{,}}<ref name=":9" />. Dans l'article de blog présentant ce projet<ref name=":8" />, il est écrit que les smartphones entraînent le modèle durant leur période de veille et les modèles locaux sont ensuite agrégés par un serveur central.

=== Médecine ===
L'apprentissage fédéré apporte des solutions aux problématiques de décentralisation et de confidentialité des données inhérentes à l'utilisation de données médicales<ref name=":6" />{{,}}<ref name=":7" />{{,}}<ref>{{Lien web |langue=fr |titre=Protection des données : quatre questions à Julien Guérin, directeur des Data à l’Institut Curie {{!}} Institut Curie |url=https://curie.fr/actualite/innovation/protection-des-donnees-quatre-questions-julien-guerin-directeur-des-data |site=curie.fr |consulté le=2023-02-20}}</ref>{{,}}<ref>{{Article|langue=en|prénom1=Nicola|nom1=Rieke|prénom2=Jonny|nom2=Hancox|prénom3=Wenqi|nom3=Li|prénom4=Fausto|nom4=Milletarì|titre=The future of digital health with federated learning|périodique=npj Digital Medicine|volume=3|numéro=1|date=2020-09-14|issn=2398-6352|pmid=33015372|pmcid=PMC7490367|doi=10.1038/s41746-020-00323-1|lire en ligne=https://www.nature.com/articles/s41746-020-00323-1|consulté le=2023-02-20|pages=119}}</ref>. Ainsi, ce paradigme permettrait aux hôpitaux et aux laboratoires médicaux d’entrainer de meilleurs modèles d'apprentissage tout en restant en conformité avec les contraintes fortes imposées par des législations telles que le [[Règlement général sur la protection des données|RGPD]] sur l'utilisation des données médicales. Plusieurs applications médicales spécifiques ont déjà été présentées telles que la détection du [[cancer de la prostate]]<ref>{{Article|prénom1=Fei|nom1=Kong|prénom2=Jinxi|nom2=Xiang|prénom3=Xiyue|nom3=Wang|prénom4=Xinran|nom4=Wang|titre=Federated contrastive learning models for prostate cancer diagnosis and Gleason grading|périodique=arXiv:2302.06089 [cs, q-bio]|date=2023-02-16|lire en ligne=http://arxiv.org/abs/2302.06089|consulté le=2023-02-20}}</ref> ou le traitement de patients atteints du [[Maladie à coronavirus 2019|COVID-19]]<ref>{{Article|langue=en|prénom1=Ittai|nom1=Dayan|prénom2=Holger R.|nom2=Roth|prénom3=Aoxiao|nom3=Zhong|prénom4=Ahmed|nom4=Harouni|titre=Federated learning for predicting clinical outcomes in patients with COVID-19|périodique=Nature Medicine|volume=27|numéro=10|date=2021-10|issn=1546-170X|doi=10.1038/s41591-021-01506-3|lire en ligne=https://www.nature.com/articles/s41591-021-01506-3|consulté le=2023-02-20|pages=1735–1743}}</ref>.

=== Recommandation d'articles d'information ===
Dans la foulée de Google, l'entreprise Brave Software (développant le navigateur [[Brave (navigateur web)|Brave]]) a également utilisé l'apprentissage fédéré pour résoudre un problème de recommandation. Brave News (le système de flux d'actualité de Brave) <ref name=":9" />{{,}}<ref>{{Lien web |langue=en |titre=Using Federated Learning to Improve Brave’s On-Device Recommendations While Protecting Your Privacy |url=https://brave.com/federated-learning/ |site=Brave Browser |date=2021-06-08 |consulté le=2023-02-20}}</ref> utilise l'apprentissage fédéré pour fournir des recommandations d'articles d'information respectueuse de la vie privée. Ce projet s'inscrit dans la politique globale de l'entreprise qui promet des technologies Web plus respectueuse de la vie privée<ref>{{Lien web |langue=fr |prénom=Vincent |nom=Hermann |titre=Brave : entre défense de la vie privée et philosophie publicitaire, un manque de finition |url=https://www.nextinpact.com/article/30321/108538-brave-entre-defense-vie-privee-et-philosophie-publicitaire-manque-finition |site=www.nextinpact.com |date=2020-06-08 |consulté le=2023-02-20}}</ref>.

=== Ville intelligente ===
La [[ville intelligente]] pourrait également bénéficier d'apprentissage fédéré afin de traiter au mieux les données produites par les capteurs servant à optimiser les services des villes<ref>{{Article|langue=en|prénom1=Karisma Trinanda|nom1=Putra|prénom2=Hsing-Chung|nom2=Chen|nom3=Prayitno|prénom4=Marek R.|nom4=Ogiela|titre=Federated Compressed Learning Edge Computing Framework with Ensuring Data Privacy for PM2.5 Prediction in Smart City Sensing Applications|périodique=Sensors|volume=21|numéro=13|date=2021-07-04|issn=1424-8220|pmid=34283140|pmcid=PMC8271576|doi=10.3390/s21134586|lire en ligne=https://www.mdpi.com/1424-8220/21/13/4586|consulté le=2023-02-20|pages=4586}}</ref>{{,}}<ref>{{Article|langue=en|prénom1=Ji Chu|nom1=Jiang|prénom2=Burak|nom2=Kantarci|prénom3=Sema|nom3=Oktug|prénom4=Tolga|nom4=Soyata|titre=Federated Learning in Smart City Sensing: Challenges and Opportunities|périodique=Sensors|volume=20|numéro=21|date=2020-01|issn=1424-8220|pmid=33142863|pmcid=PMC7662977|doi=10.3390/s20216230|lire en ligne=https://www.mdpi.com/1424-8220/20/21/6230|consulté le=2023-02-20|pages=6230}}</ref>.

=== Voiture autonome ===
Les [[Véhicule autonome|voitures autonomes]] sont des systèmes complexes remplis de capteurs et fonctionnant à l'aide de nombreux modèles d'intelligence artificielle. Étant donné la quantité colossale de données produite par une voiture autonome, l'apprentissage fédéré est vu comme un passage obligatoire pour permettre une amélioration continue des modèles d'apprentissage sans avoir à surcharger le réseau en transmettant ces quantités de données<ref>{{Article|prénom1=Tianyue|nom1=Zheng|prénom2=Ang|nom2=Li|prénom3=Zhe|nom3=Chen|prénom4=Hongbo|nom4=Wang|titre=AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving|périodique=arXiv:2302.08646 [cs]|date=2023-02-16|lire en ligne=http://arxiv.org/abs/2302.08646|consulté le=2023-02-20}}</ref>.


== Bibliographie ==
== Bibliographie ==

Version du 20 février 2023 à 10:52

Apprentissage fédéré
Type

modifier - modifier le code - modifier WikidataDocumentation du modèle

En intelligence artificielle et en apprentissage machine, l'apprentissage fédéré (en anglais : federated learning ou collaborative learning) est un paradigme d'apprentissage dans lequel plusieurs machines entrainent collaborativement un modèle d'intelligence artificielle tout en gardant leur données localement[1]. Ainsi, les machines impliquées dans l'apprentissage se contentent d'envoyer les modèles appris sur leurs données locales, et non les données elles-mêmes, à une machine centrale[2]. Ce paradigme s'oppose à l'apprentissage centralisé dans lequel toutes les données sont transmises à un serveur central chargé d'exécuter l'apprentissage du modèle.

Un objectif majeur de l'apprentissage fédéré est d'offrir un meilleur respect de la vie privée des utilisateurs[3], même si l'efficacité des protections actuelles peut être remise en question[4].

Définition

En apprentissage automatique, on représente les données d'apprentissage par une matrice [5]. En apprentissage fédéré, chaque agent connait une partie de cette matrice. L'enjeu de l'apprentissage fédéré est d'entrainer un modèle d'apprentissage sans que les agents n'aient à transmettre leur part de la matrice. Beaucoup de modèles en apprentissage automatique sont formulés par le biais d'un problème d'optimisation. Les algorithmes d'apprentissage fédéré sont souvent une solution décentralisé à ces problèmes d'optimisation[6].

On appelle "modèle local" un modèles d'apprentissage entrainé sur les données locales d'un agent. Le modèle global est le résultat de la combinaison de l'ensemble des modèles locaux[7]. Le déroulement standard d'un protocole d'apprentissage fédéré est l'échange de modèle locaux afin de converger vers un modèle global satisfaisant le problème d'optimisation utilisé.

Paradigmes d'apprentissage fédéré

Apprentissage inter-silo et apprentissage inter-appareil

L'apprentissage fédéré inter-silo (ou cross-silo learning en anglais)[1] correspond à un apprentissage impliquant un nombre limité de serveurs puissants. Par exemple, la collaboration entre plusieurs hôpitaux proposée par Owkin[8],[9] correspond à un apprentissage inter-silo. D'un autre côté, l'apprentissage inter-appareil (ou cross-device learning en anglais)[1] implique un large nombre d'appareils peu puissant: par exemple, des millions de smartphones. Par exemple, l'utilisation d'apprentissage fédéré pour le Gboard par Google[10],[11] correspond à un apprentissage inter-appareil.

Illustration de la différence entre apprentissage fédéré horizontal (à gauche) et apprentissage fédéré vertical (à droite)

Apprentissage horizontal et apprentissage vertical

Cette dualité caractérise la connaissance qu'a chaque agent de la matrice contenant les données d'apprentissage. En apprentissage fédéré horizontal[12], chaque agent connait un ou plusieurs lignes de la matrice . En d'autres termes, chaque agent possède l'ensemble des données d'un ou plusieurs individus. Par exemple, l'apprentissage fédéré utilisé par le Gboard est horizontal car chaque smartphone connait l'ensemble des données de son utilisateur. En apprentissage fédéré vertical[12], chaque agent connait une ou plusieurs colonnes de la matrice . En d'autres termes, chaque agent a des informations partielles sur l'ensemble des individus. Par exemple, différents hôpitaux peuvent avoir des données complémentaire sur le même ensemble de patient.

Apprentissage fédéré centralisé et apprentissage fédéré décentralisé

Illustration de la différence entre apprentissage fédéré centralisé (à gauche) et apprentissage fédéré décentralisé (à droite)

L'apprentissage fédéré centralisé est le paradigme le plus étudié: l'ensemble des agents communique avec un serveur unique qui orchestre l'apprentissage [1]. Dans les protocoles les plus simples, ce serveur est souvent chargé d’agréger les modèles locaux et de diffuser le modèle global[6],[13]. L'apprentissage fédéré (complètement) décentralisé (appelé fully decentralized federated learning ou gossip learning en anglais) correspond à un paradigme où il n'existe pas de serveur central: les agents communique directement les uns avec les autres et diffusent leurs modèles locaux en pair à pair[14],[15].

Défis de l'apprentissage fédéré

Il y a 5 problèmes majeurs qui concentrent l'attention de la recherche en apprentissage fédéré[1]: la scalabilité des protocoles, la préservation de la vie privée, la résistance aux attaques, l'équité algorithmique (en) et l'apprentissage personnalisé.

Scalabilité des protocoles

L'apprentissage fédéré (particulièrement l'apprentissage inter-appareils) apporte de fortes contraintes liées à la mise à l'échelle. Un protocole impliquant des milliers voire des millions d'agents pose des problèmes spécifiques absent à plus petite échelle. Premièrement, plusieurs techniques[7],[16] visent à réduire le cout du protocole. Ces techniques permettent, par exemple, de rendre les couts abordables pour des appareils peu puissants tels que des smartphones.

Deuxièmement, la présence de milliers d'appareils introduit des problématiques liées à la distribution des données: il est fort probable que les données ne soient pas indépendantes et identiquement distribuées (i.i.d.). L'hypothèse i.i.d. est une hypothèse simplificatrice souvent utilisée pour obtenir des premiers résultats mais elle "n'est clairement presque jamais vérifiée en pratique"[1]. Ainsi, des chercheurs travaillent sur des algorithmes robustes à une distribution non i.i.d. des données[17],[18].

Préservation de la vie privée

L'apprentissage fédéré est souvent promu comme une technologie améliorant la confidentialité grâce à sa non-publication des données d'apprentissage[19]. Cependant, cette non-publication des données locales n'est pas suffisante pour préserver la vie privée. En effet, le modèle appris localement peut contenir des informations personnelles. Plusieurs attaques utilisant les informations contenues dans les modèles ont été proposées[20] et démontrent le risque liée au déploiement d'apprentissage fédéré sans méthode pour renforcer la confidentialité. On distingue deux types d'attaques: les attaques par inférence d'appartenance (membership inference attacks en anglais)[20] visant à inférer si un individu est présent dans les données d'apprentissage et les attaques de reconstruction (reconstruction attacks en anglais)[21] visant à reconstruire les données d'apprentissage à partir du modèle. Ainsi, il est nécessaire d'utiliser des techniques cryptographiques (p. ex., du chiffrement homomorphe)[22] ou de la confidentialité différentielle[23] afin de compléter la préservation de la vie privée.

Résistance aux attaques

Dans un protocole impliquant de nombreux agents, il est fort probable que certains d'entre eux soient malveillants. Mise à part les attaques portant atteinte à la vie privée, certaines attaques peuvent menacer la réussite du protocole d'apprentissage. Les attaques visant à empoisonner le modèle globale ont été la cible de nombreux articles[24]. Cependant, il existe d'autres attaques comme les free-rider attacks[25] dans lesquels l'attaquant profite du résultat de l'apprentissage sans participer activement à l'apprentissage. Certaines contre-mesures comment à émerger notamment pour les attaques d'empoisonnement [26],[27].

Équité algorithmique

L'équité algorithmique est une problématique en apprentissage automatique visant à corriger les biais des modèles d'apprentissage[28]. L'enjeu de ces recherches est donc d'éviter les discriminations dans les systèmes d'intelligence artificielle[29],[30]. Bien que l'équité algorithmique concerne l'apprentissage automatique dans son ensemble, des techniques spécifiques à l'apprentissage fédéré[31],[32] émergent afin de combiner algorithme décentralisé et équité algorithmique.

Apprentissage personnalisé

L'apprentissage personnalisé vise à entrainer des modèles spécifiques à chaque agent ou chaque groupe d'agent plutôt que d’entrainer un unique modèle global[1]. La personnalisation est surtout étudié en apprentissage fédéré décentralisé[15] car ce paradigme empêche par construction la constitution d'un modèle global unique (à cause de l'absence d'un agent central).

Applications

Bien que l'apprentissage fédéré ait bénéficié d'un intérêt récent lancé en 2016[6],[33], plusieurs applications concrètes de l'apprentissage fédéré ont déjà été décrites voire même déployées.

Clavier intelligent

La première application concrète promue fut celle des chercheurs de Google à l'origine d'un article fondateur de l'apprentissage fédéré[6]. Cette application propose d'utiliser l'apprentissage fédéré afin d’entrainer le modèle de recommandation du clavier intelligent pour smartphone: le Gboard[10],[11]. Dans l'article de blog présentant ce projet[10], il est écrit que les smartphones entraînent le modèle durant leur période de veille et les modèles locaux sont ensuite agrégés par un serveur central.

Médecine

L'apprentissage fédéré apporte des solutions aux problématiques de décentralisation et de confidentialité des données inhérentes à l'utilisation de données médicales[8],[9],[34],[35]. Ainsi, ce paradigme permettrait aux hôpitaux et aux laboratoires médicaux d’entrainer de meilleurs modèles d'apprentissage tout en restant en conformité avec les contraintes fortes imposées par des législations telles que le RGPD sur l'utilisation des données médicales. Plusieurs applications médicales spécifiques ont déjà été présentées telles que la détection du cancer de la prostate[36] ou le traitement de patients atteints du COVID-19[37].

Recommandation d'articles d'information

Dans la foulée de Google, l'entreprise Brave Software (développant le navigateur Brave) a également utilisé l'apprentissage fédéré pour résoudre un problème de recommandation. Brave News (le système de flux d'actualité de Brave) [11],[38] utilise l'apprentissage fédéré pour fournir des recommandations d'articles d'information respectueuse de la vie privée. Ce projet s'inscrit dans la politique globale de l'entreprise qui promet des technologies Web plus respectueuse de la vie privée[39].

Ville intelligente

La ville intelligente pourrait également bénéficier d'apprentissage fédéré afin de traiter au mieux les données produites par les capteurs servant à optimiser les services des villes[40],[41].

Voiture autonome

Les voitures autonomes sont des systèmes complexes remplis de capteurs et fonctionnant à l'aide de nombreux modèles d'intelligence artificielle. Étant donné la quantité colossale de données produite par une voiture autonome, l'apprentissage fédéré est vu comme un passage obligatoire pour permettre une amélioration continue des modèles d'apprentissage sans avoir à surcharger le réseau en transmettant ces quantités de données[42].

Bibliographie

  • H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, Blaise Agüera y Arcas, "Communication-Efficient Learning of Deep Networks from Decentralized Data", 2017, https://arxiv.org/abs/1602.05629
  • Sébastien Godard, Nicolas Voisine, Tanguy Urvoy, Vincent Lemaire, ""Apprentissage fédératif pour la prédiction du churn : une évaluation", 2019, in "Extraction et Gestion des Connaissance" (EGC), http://vincentlemaire-labs.fr/publis/EGC2019_FEDLEARNING.pdf
  • Khademi Nori Milad, Yun Sangseok, Kim Il-Min, Fast Federated Learning by Balancing Communication Trade-Offs (2021). [1], [2].

Notes et références

  1. ↑ a b c d e f et g (en) Peter Kairouz, H. Brendan McMahan, Brendan Avent, Aurélien Bellet et al., « Advances and Open Problems in Federated Learning », Foundations and Trends in Machine Learning, vol. 14, nos 1–2,‎ , p. 1–210 (ISSN 1935-8237 et 1935-8245, DOI 10.1561/2200000083, lire en ligne, consulté le )
  2. ↑ Yann Bocchi, « Apprentissage fédéré : une nouvelle approche de l’apprentissage machine. », sur Carnet de route d’un monde connecté, (consulté le )
  3. ↑ « Federated Learning, a step closer towards confidential AI / Hacker Noon », sur hackernoon.com (consulté le ).
  4. ↑ « Google a empoisonné la communauté scientifique, qui amplifie maintenant sa désinformation » (consulté le )
  5. ↑ Yudong Chen, Lili Su et Jiaming Xu, « Distributed Statistical Machine Learning in Adversarial Settings: Byzantine Gradient Descent », Proceedings of the ACM on Measurement and Analysis of Computing Systems, vol. 1, no 2,‎ , p. 44:1–44:25 (DOI 10.1145/3154503, lire en ligne, consulté le )
  6. ↑ a b c et d Jakub Konečný, H. Brendan McMahan, Daniel Ramage et Peter Richtárik, « Federated Optimization: Distributed Machine Learning for On-Device Intelligence », arXiv:1610.02527 [cs],‎ (lire en ligne, consulté le )
  7. ↑ a et b Jakub Konečný, H. Brendan McMahan, Felix X. Yu et Peter Richtárik, « Federated Learning: Strategies for Improving Communication Efficiency », arXiv:1610.05492 [cs],‎ (lire en ligne, consulté le )
  8. ↑ a et b Ambassade de France aux Etats-Unis - Service pour la Science et la Technologie, « Le « federated learning », un paradigme d’apprentissage en plein essor aux Etats-Unis – France-Science » (consulté le )
  9. ↑ a et b (en) Marion Oberhuber, « Federated learning in healthcare – the future of collaborative clinical and biomedical research », sur Owkin Blog, (consulté le )
  10. ↑ a b et c (en) « Federated Learning: Collaborative Machine Learning without Centralized Training Data », sur ai.googleblog.com (consulté le )
  11. ↑ a b et c Laboratoire d'Innovation Numérique de la CNIL, « Chacun chez soi et les données seront bien gardées : l’apprentissage fédéré | LINC », sur linc.cnil.fr, (consulté le )
  12. ↑ a et b Qiang Yang, Yang Liu, Tianjian Chen et Yongxin Tong, « Federated Machine Learning: Concept and Applications », ACM Transactions on Intelligent Systems and Technology, vol. 10, no 2,‎ , p. 12:1–12:19 (ISSN 2157-6904, DOI 10.1145/3298981, lire en ligne, consulté le )
  13. ↑ (en) Kalista Bonawitz, Vladimir Ivanov, Ben Kreuter et Antonio Marcedone, « Practical Secure Aggregation for Privacy-Preserving Machine Learning », Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, ACM,‎ , p. 1175–1191 (ISBN 978-1-4503-4946-8, DOI 10.1145/3133956.3133982, lire en ligne, consulté le )
  14. ↑ (en) Aurélien Bellet, Rachid Guerraoui, Mahsa Taziki et Marc Tommasi, « Personalized and Private Peer-to-Peer Machine Learning », Proceedings of the Twenty-First International Conference on Artificial Intelligence and Statistics, PMLR,‎ , p. 473–481 (lire en ligne, consulté le )
  15. ↑ a et b Yacine Belal, Aurélien Bellet, Sonia Ben Mokhtar et Vlad Nitu, « PEPPER: Empowering User-Centric Recommender Systems over Gossip Learning », Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, vol. 6, no 3,‎ , p. 101:1–101:27 (DOI 10.1145/3550302, lire en ligne, consulté le )
  16. ↑ Zachary Charles, Kallista Bonawitz, Stanislav Chiknavaryan et Brendan McMahan, « Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning », arXiv:2208.09432 [cs],‎ (lire en ligne, consulté le )
  17. ↑ (en) Sai Praneeth Karimireddy, Satyen Kale, Mehryar Mohri et Sashank Reddi, « SCAFFOLD: Stochastic Controlled Averaging for Federated Learning », Proceedings of the 37th International Conference on Machine Learning, PMLR,‎ , p. 5132–5143 (lire en ligne, consulté le )
  18. ↑ Maxence Noble, Aurélien Bellet et Aymeric Dieuleveut, « Differentially Private Federated Learning on Heterogeneous Data », arXiv:2111.09278 [cs, math, stat],‎ (lire en ligne, consulté le )
  19. ↑ « -lapprentissage-federe/ Quoi de neuf dans les TAC ? L’apprentissage fédéré - Hello Future Orange », sur Hello Future, (consulté le )
  20. ↑ a et b Hongsheng Hu, Zoran Salcic, Lichao Sun et Gillian Dobbie, « Membership Inference Attacks on Machine Learning: A Survey », ACM Computing Surveys, vol. 54, no 11s,‎ , p. 235:1–235:37 (ISSN 0360-0300, DOI 10.1145/3523273, lire en ligne, consulté le )
  21. ↑ Borja Balle, Giovanni Cherubin et Jamie Hayes, « Reconstructing Training Data with Informed Adversaries », 2022 IEEE Symposium on Security and Privacy (SP),‎ , p. 1138–1156 (DOI 10.1109/SP46214.2022.9833677, lire en ligne, consulté le )
  22. ↑ (en) Mohamad Mansouri, Melek Önen, Wafa Ben Jaballah et Mauro Conti, « SoK: Secure Aggregation based on cryptographic schemes for Federated Learning », Proceedings on Privacy Enhancing Technologies,‎ (lire en ligne [PDF])
  23. ↑ (en) Martin Abadi, Andy Chu, Ian Goodfellow et H. Brendan McMahan, « Deep Learning with Differential Privacy », Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, ACM,‎ , p. 308–318 (ISBN 978-1-4503-4139-4, DOI 10.1145/2976749.2978318, lire en ligne, consulté le )
  24. ↑ Subhash Sagar, Chang-Sun Li, Seng W. Loke et Jinho Choi, « Poisoning Attacks and Defenses in Federated Learning: A Survey », arXiv:2301.05795 [cs],‎ (lire en ligne, consulté le )
  25. ↑ (en) Yann Fraboni, Richard Vidal et Marco Lorenzi, « Free-rider Attacks on Model Aggregation in Federated Learning », Proceedings of The 24th International Conference on Artificial Intelligence and Statistics, PMLR,‎ , p. 1846–1854 (lire en ligne, consulté le )
  26. ↑ Amrita Roy Chowdhury, Chuan Guo, Somesh Jha et Laurens van der Maaten, « EIFFeL: Ensuring Integrity for Federated Learning », arXiv:2112.12727 [cs],‎ (lire en ligne, consulté le )
  27. ↑ (en) James Bell, Adrià Gascón, Tancrède Lepoint et Baiyu Li, « ACORN: Input Validation for Secure Aggregation », Cryptology ePrint Archive,‎ (lire en ligne, consulté le )
  28. ↑ Simon Caton et Christian Haas, « Fairness in Machine Learning: A Survey », arXiv:2010.04053 [cs, stat],‎ (lire en ligne, consulté le )
  29. ↑ Déborah Loye, « La discrimination, côté obscur de l’intelligence artificielle », sur Les Echos Start, (consulté le )
  30. ↑ Rémy Demichelis, « IA : les biais, une arme de discrimination massive », sur Les Echos, (consulté le )
  31. ↑ Han Yu, Zelei Liu, Yang Liu et Tianjian Chen, « A Fairness-aware Incentive Scheme for Federated Learning », Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, Association for Computing Machinery, aIES '20,‎ , p. 393–399 (ISBN 978-1-4503-7110-0, DOI 10.1145/3375627.3375840, lire en ligne, consulté le )
  32. ↑ Yahya H. Ezzeldin, Shen Yan, Chaoyang He et Emilio Ferrara, « FairFed: Enabling Group Fairness in Federated Learning », arXiv:2110.00857 [cs],‎ (lire en ligne, consulté le )
  33. ↑ (en) Reza Shokri et Vitaly Shmatikov, « Privacy-Preserving Deep Learning », Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, ACM,‎ , p. 1310–1321 (ISBN 978-1-4503-3832-5, DOI 10.1145/2810103.2813687, lire en ligne, consulté le )
  34. ↑ « Protection des données : quatre questions à Julien Guérin, directeur des Data à l’Institut Curie | Institut Curie », sur curie.fr (consulté le )
  35. ↑ (en) Nicola Rieke, Jonny Hancox, Wenqi Li et Fausto Milletarì, « The future of digital health with federated learning », npj Digital Medicine, vol. 3, no 1,‎ , p. 119 (ISSN 2398-6352, PMID 33015372, PMCID PMC7490367, DOI 10.1038/s41746-020-00323-1, lire en ligne, consulté le )
  36. ↑ Fei Kong, Jinxi Xiang, Xiyue Wang et Xinran Wang, « Federated contrastive learning models for prostate cancer diagnosis and Gleason grading », arXiv:2302.06089 [cs, q-bio],‎ (lire en ligne, consulté le )
  37. ↑ (en) Ittai Dayan, Holger R. Roth, Aoxiao Zhong et Ahmed Harouni, « Federated learning for predicting clinical outcomes in patients with COVID-19 », Nature Medicine, vol. 27, no 10,‎ , p. 1735–1743 (ISSN 1546-170X, DOI 10.1038/s41591-021-01506-3, lire en ligne, consulté le )
  38. ↑ (en) « Using Federated Learning to Improve Brave’s On-Device Recommendations While Protecting Your Privacy », sur Brave Browser, (consulté le )
  39. ↑ Vincent Hermann, « Brave : entre défense de la vie privée et philosophie publicitaire, un manque de finition », sur www.nextinpact.com, (consulté le )
  40. ↑ (en) Karisma Trinanda Putra, Hsing-Chung Chen, Prayitno et Marek R. Ogiela, « Federated Compressed Learning Edge Computing Framework with Ensuring Data Privacy for PM2.5 Prediction in Smart City Sensing Applications », Sensors, vol. 21, no 13,‎ , p. 4586 (ISSN 1424-8220, PMID 34283140, PMCID PMC8271576, DOI 10.3390/s21134586, lire en ligne, consulté le )
  41. ↑ (en) Ji Chu Jiang, Burak Kantarci, Sema Oktug et Tolga Soyata, « Federated Learning in Smart City Sensing: Challenges and Opportunities », Sensors, vol. 20, no 21,‎ , p. 6230 (ISSN 1424-8220, PMID 33142863, PMCID PMC7662977, DOI 10.3390/s20216230, lire en ligne, consulté le )
  42. ↑ Tianyue Zheng, Ang Li, Zhe Chen et Hongbo Wang, « AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving », arXiv:2302.08646 [cs],‎ (lire en ligne, consulté le )

Articles connexes

Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Apprentissage_fédéré&oldid=201568198 ».