Jedne z najwcześniejszych przykładów automatycznego zmniejszania struktury sieci powstały w 1965 roku w pracach Aleksieja Iwaczenki i Walentina Lapy, którzy przycinali zbędne jednostki ukryte z wykorzystaniem odrębnego zbioru walidacyjnego.
W 1989 roku Yann LeCun i współpracownicy opisali algorytm Optimal Brain Damage, usuwający z sieci parametry o najmniejszym przewidywanym wpływie na funkcję straty, wyznaczanym z drugich pochodnych. W 1991 roku Jürgen Schmidhuber opisał zasadę kompresji historii, redukującą hierarchię sieci predykcyjnych do pojedynczej sieci rekurencyjnej – pomysł uznawany za jeden z prekursów późniejszego transferu wiedzy między sieciami.
W 2006 roku Cristian Bucilă, Rich Caruana i Alexandru Niculescu-Mizil wykazali, że wiedzę całego zespołu modeli można zamknąć w pojedynczej sieci neuronowej trenowanej na pseudodanych oznakowanych przez ten zespół.
Pojęcie destylacji wiedzy w obecnym znaczeniu spopularyzowali w 2015 roku Geoffrey Hinton i współpracownicy, wykorzystując temperaturę softmaxu do generowania celów uczenia. Zademonstrowali kompresję zespołu modeli do pojedynczej sieci na zadaniu rozpoznawania cyfr pisanych ręcznie oraz znaczącą poprawę modelu akustycznego często używanego systemu komercyjnego.
Przypisy
Kategoria:Uczenie maszynowe Kategoria:Sztuczna inteligencja