Utworzono inny model bazowy specjalizujący się w kodzie Python, trenując go na 100 mld tokenów kodu wyłącznie w tym języku, a następnie na danych długiego kontekstu.
Llama 3 18 kwietnia 2024 firma Meta wydała model Llama 3 w dwóch rozmiarach: 8 mld (8B) i 70 mld (70B) parametrów. Modele wstępnie wytrenowano na około 15 bilionach tokenów tekstu zebranych z „publicznie dostępnych źródeł”, a modele dostrojone do instrukcji dopracowano na podstawie „publicznie dostępnych zestawów danych z instrukcjami, a także ponad 10 milionów przykładów z adnotacjami ludzkimi”. Testy Meta AI z kwietnia 2024 wykazały, że Llama 3 70B pokonała Gemini Pro 1.5 i Claude 3 Sonnet w większości testów porównawczych. Firma Meta ogłosiła również plany uczynienia Llamy 3 wielojęzyczną i multimodalną, lepszą w pisaniu kodu, rozumowaniu oraz zwiększenia rozmiaru jej kontekstu.
W wywiadzie z Dwarkeshem Patelem Mark Zuckerberg powiedział, że wersja z 8 mld parametrów (8B) Lamy 3 zbliża się możliwościami do największego modelu z serii Llama 2. Zuckerberg stwierdził, że w porównaniu z poprzednimi modelami zespół był zaskoczony, jak model z 70 mld parametrów (70B) uczył się nawet pod koniec treningu na zbiorze 15 bilionów tokenów.