Uczenie reprezentacji i samonadzór Cechą wspólną nowoczesnych metod sztucznej inteligencji jest uczenie reprezentacji, czyli automatyczne wydobywanie z surowych danych cech ułatwiających rozwiązanie zadania zamiast ręcznego ich projektowania. Coraz większą rolę odgrywa uczenie samonadzorowane (), w którym model uczy się na nieoznakowanych danych, samodzielnie tworząc zadania pomocnicze, takie jak przewidywanie zasłoniętych fragmentów tekstu. Pozwala to wstępnie trenować duże modele na ogromnych, nieopisanych zbiorach danych, co stosuje się m.in. w modelach językowych. Rozwijają się też modele multimodalne, które łączą różne typy danych, na przykład tekst i obraz, we wspólnej przestrzeni reprezentacji, czego przykładem jest model CLIP.
Prawa skalowania Empiryczne prawa skalowania () opisują, jak jakość modeli, mierzona np. wartością funkcji straty, poprawia się wraz ze wzrostem liczby parametrów, rozmiaru zbioru danych i nakładu obliczeń, w przybliżeniu według zależności potęgowych.