En traitement automatique du langage naturel, BERT, acronyme anglais de , est un modèle de langage développé par Google en 2018. Cette méthode a permis d'améliorer significativement les performances en traitement automatique des langues.

Description du modèle BERT est basé sur le transformeur, n'utilisant que sa partie « encodeur ». BERT consiste en une première couche de plongement lexical pour représenter les mots sous forme de vecteur. Ces plongements sont ensuite donnés en entrée aux blocs de transformeur successifs. Le modèle se termine par une couche désignée comme « tête » (head) qui aligne les vecteurs résultants du dernier bloc de transformeur avec le vocabulaire du modèle, permettant l'obtention d'une distribution de probabilité sur le lexique pour prédire un mot manquant.

BERT est appris avec la capacité de recevoir deux phrases en entrée. La suite d'unités lexicales (tokens en anglais) en entrée commence systématiquement par une unité spéciale [CLS] (pour « classify ») et est terminée par l'unité spéciale [SEP] (pour « separate »). Dans le cas où la suite d'unités contient deux phrases, une autre unité [SEP] est insérée entre les deux phrases.

BERT est pré-entrainé pour répondre aux deux tâches suivantes :

Masked Language Modeling : une des unités de la suite est remplacée par l'unité [MASK]. La tâche consiste à prédire l'unité masquée en sortie du modèle (i.e que le modèle maximise la probabilité de prédiction de l'unité masquée). Next Sentence Prediction : la suite en entrée est composé de deux phrases. Le modèle doit prédire (vrai ou faux) si les deux phrases sont successives dans les données d’entraînement ou non.

Deux versions pré-entrainées de BERT ont été originellement distribuées :

la version « base » est composée de 12 blocs « encodeurs » de transformeur avec 12 têtes d'attention, pour un total de 110 millions de paramètres. Les représentations vectorielles des couches intermédiaires du modèle sont de dimension 768. la version « large » est composée de 24 blocs « encodeurs » avec 16 têtes d'attention, pour un total de 340 millions de paramètres. Les représentations vectorielles intermédiaires sont de dimension 1024.

Usage dans des applications

Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (, bibliothèque pour ). et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis , date à laquelle avait été lancé.

La méthode a été adaptée à la langue française en 2019 avec les modèles CamemBERT et FlauBERT. CamemBERT a été pré-entraîné sur un corpus de de texte et FlauBERT sur un corpus de de texte.

Bibliographie .

Voir aussi

Word2vec Google Bard

Références

Liens externes répertoire Github

Catégorie:Traitement automatique du langage naturel Catégorie:Apprentissage automatique Catégorie:Grand modèle de langage