Skuteczność takiej procedury wykazano m.in. w tłumaczeniu automatycznym: w niektórych badaniach model ucznia wytrenowany na predykcjach nauczyciela działał dziesięciokrotnie szybciej od niego przy niewielkim spadku jakości tłumaczenia i przewyższał model tej samej wielkości szkolony bez destylacji.
Odmiany
W zastosowaniach do dużych modeli językowych wyróżnia się destylację black-box, w której dostępne są jedynie odpowiedzi nauczyciela i to one generują zbiór danych do dostrajania ucznia, oraz white-box, w której dostępne są parametry lub rozkłady wyjściowe nauczyciela.
Istnieją też warianty opisywane jako odwrotna destylacja wiedzy: lżejszy model służy w nich do wytrenowania modelu cięższego. Przy ograniczonych danych służy to poprawie generalizacji, a nie zmniejszeniu modelu.
Historia
Poprzedniczką destylacji była kompresja wiedzy, zwana też przycinaniem sieci neuronowych, polegająca na redukcji rozmiaru wytrenowanej sieci.