BERT (modèle de langage)
| Développé par | Google Research (d) |
|---|---|
| Première version | |
| Dépôt | github.com/google-research/bert |
| Type |
Modèle de langage Modèle Transformer (en) |
| Licence | Licence Apache version 2.0 |
| Site web | ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html |
En traitement automatique du langage naturel, BERT, acronyme anglais de Bidirectional Encoder Representations from Transformers, est un modèle de langage développé par Google en 2018. Cette méthode a permis d'améliorer significativement les performances en traitement automatique des langues[1].
Usage dans des applications[modifier | modifier le code]
Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (Cloud TPU, bibliothèque pour TensorFlow)[2] et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de Mountain View qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis 5 ans, date à laquelle RankBrain avait été lancé.
La méthode a été adaptée à la langue française en 2019 avec les modèles CamemBERT[3] et FlauBERT[4]. CamemBERT a été pré-entraîné sur un corpus de 138Go de texte et FlauBERT sur un corpus de 71Go de texte.
Bibliographie[modifier | modifier le code]
Voir aussi[modifier | modifier le code]
Articles connexes[modifier | modifier le code]
Liens externes[modifier | modifier le code]
Notes et références[modifier | modifier le code]
- « Comment fonctionne BERT, la plus grande mise à jour au monde de l’algorithme de Google » (consulté le 1er mai 2020)
- (en) « Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing », sur Google AI Blog (consulté le 30 octobre 2019)
- https://arxiv.org/abs/1911.03894
- https://arxiv.org/abs/1912.05372
