Tło Po publikacji dużych modeli językowych, takich jak GPT-3, badania skupiły się na skalowaniu modeli, co w niektórych przypadkach wykazało znaczny wzrost możliwości. Wydanie ChatGPT i jego zaskakujący sukces spowodowały wzrost zainteresowania dużymi modelami językowymi.

W porównaniu z innymi odpowiedziami na ChatGPT, główny naukowiec ds. sztucznej inteligencji w Meta, Yann LeCun, stwierdził, że duże modele językowe najlepiej sprawdzają się we wspomaganiu pisania.

Badania empiryczne nad serią Llama skupiły się na analizie prawa skalowania. Zaobserwowano, że modele Llama 3 wykazały kontynuację logarytmicznie liniowego wzrostu wydajności nawet po przekroczeniu rozmiaru zbioru danych uznawanego za „optymalny według Chinchilla”. Na przykład dla modelu Llama 3 8B optymalny zbiór danych w ujęciu Chinchilla wynosi 200 mld tokenów, jednak wydajność zachowywała logarytmicznie liniową skalowalność przy 75-krotnie większym zbiorze – 15 bilionów tokenów.