Un grand modèle de langage est un type de modèle d'apprentissage automatique conçu pour les tâches de traitement automatique des langues telles que la génération de langage. Les grands modèles de langage sont des modèles de langage ayant de nombreux paramètres, et sont entraînés par apprentissage auto-supervisé sur une grande quantité de texte.
Cette page liste certains des grands modèles de langage les plus connus. +Liste des grands modèles de langageNomDate de sortieCréé parTailleTaille des donnéesLicenceNotesBERTGoogle de mots Un modèle linguistique précoce et influent, mais uniquement codant et donc non conçu pour être guidé ou génératif.XLNetGoogle de motsUne alternative au BERT ; conçu comme un encodeur uniquementGPT-2OpenAI40GB (~ jetons) modèle polyvalent basé sur l'architecture transformeursGPT-3OpenAI de jetons Une variante affinée de GPT-3, appelée GPT-3.5, a été mise à la disposition du public par le biais d'une interface web appelée ChatGPT en 2022.GPT-NeoEleutherAI825 GiB .Le premier d'une série d'alternatives GPT-3 gratuites publiées par EleutherAI. GPT-Neo a surpassé un modèle GPT-3 de taille équivalente sur certains bancs d'essai, mais s'est avéré nettement moins performant que le plus grand GPT-3.GPT-JEleutherAI825 GiB. Modèle linguistique de type GPT-3Megatron-Turing NLGMicrosoft et Nvidia de jetons Architecture standard mais entraînée sur une grappe de supercalculateurs.Ernie 3.0 TitanBaidu.4 Tb LLM en langue chinoise. Ernie Bot est basé sur ce modèle.ClaudeAnthropic de jetons. Ajusté pour un comportement souhaitable dans les conversations.Claude 3 OpusMars 2024AnthropicPropriétaireModèle puissant pour les tâches complexesGLaMGoogle de jetons Modèle de mélange d'experts peu dense, ce qui rend l'entraînement plus coûteuse mais l'inférence moins coûteuse que pour le modèle GPT-3.GopherDeepMind de jetons. LaMDAGoogle1.56T mots, de jetons Spécialisé dans la génération de réponses dans les conversations. Utilisé dans le chatbot Google Bard.GPT-NeoXEleutherAI825 GiB basé sur l'architecture MegatronChinchillaDeepMind de jetons Modèle à paramètres réduits entraîné sur un plus grand nombre de données. Utilisé dans le robot Sparrow.PaLMGoogle jetons visant à atteindre les limites pratiques de la maquetteOPTMeta jetons .Architecture GPT-3 avec quelques adaptations de MegatronYaLM 100BYandex1.7TBModèle anglais-russe basé sur Megatron-LM de Microsoft.MinervaGoogle38.5B jetons LLM entraîné à la résolution de "questions mathématiques et scientifiques en utilisant un raisonnement étape par étape". Minerva est basé sur le modèle PaLM, entraîné sur des données mathématiques et scientifiques.BLOOMProgramme scientifique dirigé par Hugging Face de jetons (1.6TB) Essentiellement GPT-3 mais entraîné sur un corpus multilingue (30 % d'anglais à l'exclusion des langages de programmation).GalacticaMeta de jetons Entrainement sur les textes et modalités scientifiques.AlexaTMAmazon architecture bidirectionnelle séquence-séquenceNeuro-samaIndépendantInconnuUn modèle de langage conçu pour la diffusion en direct sur Twitch et utilisant un avatar humanoïde. Créé et géré par le développeur VedalLLaMAMeta Entraîné sur un grand corpus de 20 langues afin d'obtenir de meilleures performances avec moins de paramètres. Des chercheurs de l'université de Stanford ont entraîné un modèle affiné basé sur les poids LLaMA, appelé Alpaca.GPT-4OpenAInombre exact tenu secret, supputé Disponible pour les utilisateurs de ChatGPT Plus et utilisé dans plusieurs produits.Cerebras-GPTCerebras Entraîné avec la formule Chinchilla.FalconTechnology Innovation Institute de jetons (1TB) Le modèle n'utiliserait que 75 % du calcul d'entraînement de GPT-3, 40 % de celui de Chinchilla et 80 % de celui de PaLM-62B.BloombergGPTBloomberg L.P.363 milliards de jetons. LLM entraîné sur des données financières provenant de sources propriétaires, qui "surpasse les modèles existants sur les tâches financières par des marges significatives sans sacrifier la performance sur les repères LLM généraux".PanGu-ΣHuawei329 milliards de jetons. OpenAssistantLAION1.5 billion de jetons Entrainement sur les données ouvertes issues d'une production participativeLyra-frLightOn150 milliards de jetons LLM entrainé à partir de données majoritairement françaises.Orion-fr-v2LightOn150 milliards de jetons LLM entrainé à partir de données majoritairement françaises.Orion-fr-v1/PAGnolLightOn150 millions de jetons LLM entrainé à partir de données majoritairement françaises.
Notes
Références
Catégorie:Comparaison de logiciels Catégorie:Grand modèle de langage