BERT (modèle de langage)
Pour les articles homonymes, voir Bert.
| Développé par | Google Research (d) |
|---|---|
| Première version | |
| Dépôt | github.com/google-research/bert |
| Taille des données | 110 M paramètre et 340 M paramètre |
| Type |
Grand modèle de langage Modèle transformateur Modèle de langage entraîné par masquage (d) |
| Licence | Licence Apache version 2.0 |
| Site web | arxiv.org/abs/1810.04805 |
En traitement automatique du langage naturel, BERT, acronyme anglais de Bidirectional Encoder Representations from Transformers, est un modèle de langage développé par Google en 2018. Cette méthode a permis d'améliorer significativement les performances en traitement automatique des langues.
Usage dans des applications[modifier | modifier le code]
Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (Cloud TPU, bibliothèque pour TensorFlow)[1] et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de Mountain View qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis 5 ans, date à laquelle RankBrain avait été lancé.
La méthode a été adaptée à la langue française en 2019 avec les modèles CamemBERT[2] et FlauBERT[3]. CamemBERT a été pré-entraîné sur un corpus de 138 Go de texte et FlauBERT sur un corpus de 71 Go de texte.
Bibliographie[modifier | modifier le code]
- (en) Toutanova, Kristina, « BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding », sur arXiv.org, (consulté le ).
Voir aussi[modifier | modifier le code]
Articles connexes[modifier | modifier le code]
Liens externes[modifier | modifier le code]
- (en) répertoire Github
Notes et références[modifier | modifier le code]
- (en) Jacob Devlin et Ming-Wei Chang, « Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing », sur Google AI Blog, (consulté le ).
- (en) Louis Martin et al., « CamemBERT: a Tasty French Language Model », .
- (en) Hang Le et al., « FlauBERT: Unsupervised Language Model Pre-Training for French », .
