BERT (traitement automatique du langage)

Un article de Wikipédia, l'encyclopédie libre.
Sauter à la navigation Sauter à la recherche
Page d’aide sur l’homonymie Pour les articles homonymes, voir Bert.
BERT

Informations
Développé par Google Research (d)Voir et modifier les données sur Wikidata
Dépôt github.com/google-research/bertVoir et modifier les données sur Wikidata
Licence Licence Apache version 2.0Voir et modifier les données sur Wikidata
Site web arxiv.org/abs/1810.04805Voir et modifier les données sur Wikidata

En traitement automatique du langage naturel, BERT, acronyme de Bidirectional Encoder Representations from Transformers, est un modèle de langage (en) développé par Google en 2018. Cette méthode a permis d'améliorer significativement les algorithmes de traitement automatique de la langue.

Usage dans des applications[modifier | modifier le code]

Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (Cloud TPU, bibliothèque pour TensorFlow)[1] et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de Mountain View qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis 5 ans, date à laquelle RankBrain avait été lancé.

La méthode a été adaptée à la langue française en 2019 avec le modèle CamemBERT pré-entrainé sur un corpus de 138Go de texte[2].

Bibliographie[modifier | modifier le code]

Voir aussi[modifier | modifier le code]

Articles connexes[modifier | modifier le code]

Liens externes[modifier | modifier le code]

Notes et références[modifier | modifier le code]