Destylacja wiedzy (, też destylacja modelu) – w uczeniu maszynowym metoda wykorzystywania informacji z dużego modelu, zwanego nauczycielem, do wytrenowania mniejszego modelu, zwanego uczniem. Duże modele, takie jak głębokie sieci neuronowe czy zespoły modeli, mają zwykle większą pojemność niż modele małe, a ich uruchamianie jest kosztowne obliczeniowo.
Celem destylacji jest przeniesienie użytecznej wiedzy z nauczyciela do ucznia przy możliwie małym spadku jakości działania. Niekiedy stosuje się ją również w celu poprawy generalizacji ucznia. Mniejsze modele są tańsze obliczeniowo i mogą działać na słabszym sprzęcie, na przykład na urządzeniach mobilnych.
Destylację wiedzy zalicza się do metod obok kwantyzacji, przycinania i faktoryzacji niskorzędowej. W przeciwieństwie do tych technik nie modyfikuje ona istniejącego modelu, lecz trenuje na podstawie predykcji nauczyciela inny model, zwykle mniejszy.
Metodę zastosowano m.in. w wykrywaniu obiektów, w akustycznych modelach rozpoznawania mowy, w dużych modelach językowych oraz w .
Zasada działania
Model mniejszy trenowany na tych samych danych co duży może nie mieć pojemności, by odtworzyć jego reprezentację wiedzy. Lukę pojemności między nauczycielem a uczniem opisuje się jako zjawisko stałe.