miniatura|268x268px|En una sèrie de punts de referència del llenguatge natural que impliquen tasques com la resposta a preguntes, els models no funcionen millor que l'atzar fins que arriben a una certa escala (en aquest cas, mesurada per càlcul d'entrenament), moment en què el seu rendiment augmenta bruscament. Aquests són exemples d'habilitats emergents. Un model de llenguatge gran (en acrònim, MLG, més conegut per les sigles en anglès LLM, de Large Language Model) és un model de llenguatge que consisteix en una xarxa neuronal amb molts paràmetres (normalment milers de milions de pesos o més), entrenats en grans quantitats de text sense etiqueta i mitjançant aprenentatge no supervisat. Els MLG van sorgir al voltant del 2018 i funcionen bé en una gran varietat de tasques. Això ha desplaçat el focus de la investigació sobre el processament del llenguatge natural del paradigma anterior de formació de models supervisats especialitzats per a tasques específiques.
Tot i que el terme model de llenguatge gran no té una definició formal, generalment es refereix a models d'aprenentatge profund que tenen un recompte de paràmetres de l'ordre de milers de milions o més. Els LLM són models de propòsit general que destaquen en una àmplia gamma de tasques, en lloc de ser entrenats per a una tasca específica (com ara l'anàlisi de sentiments, el reconeixement d'entitats anomenades o el raonament matemàtic). Tot i que s'ha entrenat en tasques senzilles en la línia de predir la següent paraula en una frase, es troben models de llenguatge neuronal amb un entrenament i un recompte de paràmetres suficients per capturar gran part de la sintaxi i la semàntica del llenguatge humà. A més, els grans models lingüístics demostren un coneixement general considerable sobre el món i són capaços de "memoritzar" una gran quantitat de fets durant l'entrenament.
Arquitectura Els models de llenguatge grans han utilitzat més habitualment l'arquitectura del transformador, que, des del 2018, s'ha convertit en la tècnica estàndard d'aprenentatge profund per a dades seqüencials (abans, les arquitectures recurrents com la LSTM eren les més habituals). Els LLM es formen de manera no supervisada en text sense anotació. S'entrena un transformador d'esquerra a dreta per maximitzar la probabilitat assignada a la paraula següent de les dades d'entrenament, donat el context anterior. Alternativament, un LLM pot utilitzar un transformador bidireccional (com en l'exemple de BERT), que assigna una distribució de probabilitat sobre paraules que tenen accés tant al context anterior com al següent. A més de la tasca de predir la paraula següent o "omplir els espais en blanc", els LLM poden ser entrenats en tasques auxiliars que posen a prova la seva comprensió de la distribució de dades, com ara la predicció de la següent frase (NSP), en què es presenten parells d'oracions i el model ha de predir si apareixen una al costat de l'altra al corpus de formació.
Llista de models de llenguatge gran NomData sortidaAutorNombre de paràmetresGrandàriaLlicènciaBERT2018Google340 milions3.3 mil milion de paraulesApache 2.0GPT-22019OpenAI1.5 mil milions40GB (~10 mil milions de tokens)MITGPT-32020OpenAI175 mil milions499 mil milions de tokensAPI amb Web públicaGPT-NeoMarç 2021EleutherAI2.7 mil milions825 GiBMITGPT-JJuny 2021EleutherAI6 mil milions825 GiBApache 2.0Megatron-Turing NLGOctubre 2021Microsoft i Nvidia530 mil milions338.6 mil milion de tokensAccés restringitErnie 3.0 TitanDesembre 2021Baidu260 mil milions4 TbPropietariClaudeDecember 2021Anthropic52 mil milions400 mil milions de tokensVersió beta tancadaGLaM (Generalist Language Model)Desembre 2021Google1.2 bilions1.6 bilions de tokensPropietariGopherDesembre 2021DeepMind280 mil milions300 mil milions de tokensPropietariLaMDA (Language Models for Dialog Applications)Gener 2022Google137 mil milions1.56T paraules, 168 billion tokensPropietariGPT-NeoXFebrer 2022EleutherAI20 mil milions825 GiBApache 2.0ChinchillaMarç 2022DeepMind70 mil milions1.4 bilions de tokensPropietariPaLM (Pathways Language Model)Abril 2022Google540 mil milions768 mil milions de tokensPropietariOPT (Open Pretrained Transformer)Maig 2022Meta175 mil milions180 mil milions de tokensGPT-3YaLM 100BJuny 2022Yandex100.000 milions1.7TBApache 2.0MinervaJuny 2022Google540 mil milions38.5B tokensPropietariBLOOMJuliol 2022Large collaboration led per Hugging Face175 mil milions350 mil milions de tokens (1.6TB)?AlexaTM (Teacher Models)Novembre 2022Amazon20 mil milions1.3 mil milionsAPI amb Web públicaLLaMA (Large Language Model Meta AI)Febrer 2023Meta65 mil milions1.4 mil milionsRecerca no comercialGPT-4Març 2023OpenAI100 bilionsDesconegutAPI amb Web pública
Referències
Categoria:Aprenentatge automàtic