Llama 4 5 kwietnia 2025 wydano model Llama 4. Architektura została zmieniona na mieszankę ekspertów (istnieją dwie wersje, z 16 i 128 ekspertami). Model jest multimodalny i wspiera 12 języków. Modele są multimodalne (akceptowane wejście to tekst i obraz, wyjście tylko tekst) i wspierają 12 języków. Podobnie jak z poprzednimi wersjami modelu Llama, przedsiębiorstwa i rezydencji Unii Europejskiej są wykluczeni z korzystania z modeli.
Opublikowane modele:
Scout: 17 mld aktywnych parametrów z 16 ekspertami, 10 mln oknem kontekstowym i łącznie z 109 mld parametrów Maverick: 17 mld aktywnych parametrów z 128 ekspertami, 1 mln oknem kontekstowym i łącznie z 400 mld parametrów
Porównanie modeli W kolumnie „Koszt treningu” podano wyłącznie koszt największego modelu z danej rodziny. Na przykład „21 000” to koszt szkolenia Lamy 2 69B w jednostkach petaFLOP-dzień. Jednostka 1 petaFLOP-dzień = 1 petaFLOP/sek × 1 dzień = 8,64E19 FLOP. W tabeli skróty „T” oznaczają bilion (ang. trillion), a „B” miliard (ang.