BERT (modèle de langage)

Un article de Wikipédia, l'encyclopédie libre.
BERT

Informations
Développé par Google Research (d)Voir et modifier les données sur Wikidata
Première version Voir et modifier les données sur Wikidata
Dépôt github.com/google-research/bertVoir et modifier les données sur Wikidata
Type Modèle de langage
Modèle Transformer (en)Voir et modifier les données sur Wikidata
Licence Licence Apache version 2.0Voir et modifier les données sur Wikidata
Site web ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.htmlVoir et modifier les données sur Wikidata

En traitement automatique du langage naturel, BERT, acronyme anglais de Bidirectional Encoder Representations from Transformers, est un modèle de langage développé par Google en 2018. Cette méthode a permis d'améliorer significativement les performances en traitement automatique des langues[1].

Usage dans des applications[modifier | modifier le code]

Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (Cloud TPU, bibliothèque pour TensorFlow)[2] et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de Mountain View qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis 5 ans, date à laquelle RankBrain avait été lancé.

La méthode a été adaptée à la langue française en 2019 avec les modèles CamemBERT[3] et FlauBERT[4]. CamemBERT a été pré-entraîné sur un corpus de 138Go de texte et FlauBERT sur un corpus de 71Go de texte.

Bibliographie[modifier | modifier le code]

Voir aussi[modifier | modifier le code]

Articles connexes[modifier | modifier le code]

Liens externes[modifier | modifier le code]

Notes et références[modifier | modifier le code]