Дубоко учење (познато као дубоко структурно учење или хијерархијско учење) део је шире породице метода машинског учења базиране на учењу репрезентације података, насупрот алгоритмима који се базирају на листама наредби. Учење може бити надгледано, полу-надгледано или ненадгледано.
Неке репрезентације подсећају на интерпретацију обраде информација и на шаблоне комуникације у биолошком нервном систему, као што је нервно кодирање које дефинише везу између различитих дражи и одговарајућег нервног одговора у мозгу.
Архитектуре дубоког учења, као што су дубока нервна мрежа или рекурентна нервна мрежа примењена су на пољима рачунарског вида, препознавања говора, обраде природних језика, препознавања звука, филтрирања друштвених мрежа, биоинформатике и дизајна лекова и постигли резултате једнаке, ако не и боље од резултата стручњака.
Дефиниције Дубоко учење је класа алгоритама машинског учења који: користе вишеслојне нелинеарне процесорске јединице за екстракцију и трансформацију одлика. Сваки следећи слој узима као улаз излазне елементе претходног слоја. уче на надгледан и/или ненадгледан начин. уче већи број нивоа репрезентације који одговарају различитим степенима апстракције. користе некакав облик алгоритма с опадајућим градијентом за тренинг кроз повратно пропагирање грешке.
Слојеви коришћени у дубоком програмирању укључују скривене слојеве вештачке нервне мреже и мноштво исказних формула. Могу укључити и слојевито организоване скривене променљиве у дубоко генерисаним моделима налик онима код Дубоких Болцанових машина.
Поверљиви задатак Путања поверљивог задатка (CAP) – Ланац трансформација од улаза до излаза. CAP описује потенцијално узрочне везе између улаза и излаза. Дубина CAP-а – за feedforward неуронске мреже, дубина CAP-а је дубина мреже и број сакривених слојева плус један (излазни слој је такође параметризован), али за рекурентне неуронске мреже, у којима се сигнал може пропагирати преко слоја више пута, дубина CAP-а је потенцијално неограничена. Дубоко / плитко – Не постоји универзалан праг дубине који дели плитко учење од дубоког, али се већина истраживача слаже да се подразумева да је код дубоког учења дубина ЦАП-а већа од 2.
Концепти Претпоставка у основи дистрибуираних репрезентација је да се посматрани подаци генеришу интеракцијама слојевитих фактора.
Дубоко учење додаје претпоставку да ови слојеви фактора одговарају нивоима апстракције или састава. Различит број слојева и величина слоја могу да обезбеде различите степене апстракције.
Архитектура дубоког учења се често конструише помоћу похлепне слој-по-слој методе. Дубоко учење помаже у раздвајању ових апстракција и одабиру карактеристика које побољшавају перформансе.
За задатке надгледаног учења, методе дубоког учења избегавају карактеристичан инжењеринг, превођењем података у компактне посредоване репрезентације сличне главној компоненти, и изводе слојевите структуре које уклањају редундантност у репрезентацији.
Алгоритми дубоког учења се могу применити за задатке ненадгледаног учења. Ово је важна предност јер су необележени подаци обимнији од обележених података. Примери дубоких структура које могу бити изучаване на ненадгледан начин су компресор неуралне мреже и дубоке мреже веровања.
Интерпретације Дубоке неуралне мреже се обично тумаче у смислу теорија универзалне апроксимацијеBalázs Csanád Csáji (2001). Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungaryили пробабилистичког закључивања.
Универзална теорема апроксимације се односи на капацитет feedforward неуронских мрежа са једним скривеном слојем коначне величине за проксимацију континуиране функције. 1989. је Цибенко објавио први доказ за функције сигмуидне активације и генерализован је за дистрибуцију вишеслојних архитектура 1991. године од стране Хорника. Пробабилистичке интерпретације потичу из области машинског учења. Оне нелинеарне активације разматрају као кумулативну функцију расподеле. Уведене су од стране истраживача, укључујући Хопфилда, Видрова и Наренда и популаризоване у анкетама као што је једна од стране Бишопа.
Историја Појам дубоко учење уведен је у заједницу машинског учења 1986 од стране Рине Дехтер,Rina Dechter (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Onlineа вештачке неуронске мреже од стране Игора Ајзенберга и колега 2000. године у контексту Булових неуронских прагова.Igor Aizenberg, Naum N. Aizenberg, Joos P.L. Vandewalle (2000). Multi-Valued and Universal Binary Neurons: Theory, Learning and Applications. Springer Science & Business Media.Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C. pp. 1795–1802, ACM Press, New York, NY, USA, 2005. У 2006. години публикација Хинтона, Осиндера и Теха показала је како би код вишеслојне feedforward неуронске мреже слој могао бити унапред ефикасно обучен третирајући сваки слој као ненадгледану ограничену Болцманову машину, лепо наштимовану коришћењем надгледане повратне пропагације.. Рад се односи на учење за дубоке мреже веровања.
Први општи алгоритам рада за надгледане, дубоке, преносне перцептроне објавили су Alexey Grigorevich Ivakhnenko и Лапа 1965. године. Документ из 1971. описао је дубоку мрежу са осам слојева обучених групном методом алгоритма за обраду података.
Друге радне архитектуре дубоког учења, посебно оне које су изграђене за рачунарски вид почеле су са Неокогнитроном који је 1980. године представио Фукушима. 1989. ЛиЦун применио је алгоритам за повратну пропагацију, који је од 1970. године био окренут резервном режиму аутоматског диференцирања,Seppo Linnainmaa (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), University Helsinki, 6-7. до дубоке неуронске мреже с циљем препознавања рукописних ЗИП кодова у пошти. Док је алгоритам фнкционисао, обучавање је трајало три дана.LeCun et al., .
До 1991. године такви системи су коришћени за препознавање 2Д ручно исписаних цифара, док је препознавање 3Д објеката учињено одговарајућим 2Д сликама са ручно изграђеним 3Д објектним модулом. Венг и други су претпоставили да људски мозак не користи монолитни 3Д објектни модел и 1992. године објавили су Кресептрон,J. Weng, N. Ahuja and T. S. Huang, "Cresceptron: a self-organizing neural network which grows adaptively," Proc. International Joint Conference on Neural Networks, Baltimore, Maryland, vol I. pp. 576–581, June, 1992.J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation of 3-D objects from 2-D images," Proc. 4th International Conf. Computer Vision, Berlin, Germany. pp. 121–128, May, 1993.,. метод за препознавање 3Д објеката у скривеним сценама. Кресептон је слап слојева сличних Неокогнитрону. Међутим док Неокогнитрон очекује од програмера да га ручно споји са карактеристикама, Кресептон је без надзора научио отворен број карактеристика на сваком нивоу, где је свака карактеристика представљена реконструкцијским алгоритмом. Кресептон је учврстио сваки научени објекат из нереда кроз анализу уназад кроз мрежу. Максимално удруживање, сада често усвојено од дубоких неуронских мрежа (нпр. ImageNet тестови) је први пут коришћено у Кресептону да смањи резолуцију позиције за фактор (2x2) до 1 кроз пренос ради бољег генерализовања.
Године 1994. Карваљо је заједно са Фејрурстом и Бисетом објавио експерименталне резултате вишеслојне Булове неуралне мреже, такође познате као бестежинске неуралне мреже, која се састоји од саморганизујуће карактеристике екстракције модула неуралне мреже праћене класификацијом неуронске мреже, које су независно обучене.
Фреј је 1995. године показао да је могуће обучити (током два дана) мрежу која садржи шест потпуно повезаних слојева и неколико стотина сакривених јединица користећи вејк-слип алгоритам, развијен заједно са Дајеном и Хинтоном. Многи фактори доприносе спорости, укључујући и проблем са градијентом, анализиран 1991. од стране Хохрајтера.S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen," Diploma thesis. Institut f. Informatik, Technische University Munich. Advisor: J. Schmidhuber, 1991.
Једноставни модели који користе ручно направљене карактеристике као што су Габор филтери и машине за подршку векторима (СВМ) бели су популарни током деведесетих и двехиљадитих због рачунских трошкова вештачке неуронске мреже и недостатка разумевања о томе како мозак пролази кроз своје биолошке мреже.
И плитко и дубоко учење код вештачких неуронских мрежа истраживано је већ дуги низ година. Ови методи никад нису превазишли технологију неуниформног унутрашњег Гаусовог мешовитог модела/сакривеног Марковог модела(GMM-HMM) базирану на генеративним моделима говора обучаваних дискриминативно. Кључне потешкоће су анализиране, укључујући градијент смањења и слабу темпоралну корелациону структуру у неуронским предиктивним моделима. Додатни проблем били су недостатак података за обуку и ограничена рачунарска снага.
Већина истраживача за препознавање говора преселила се из неуронских мрежа у тражење генеративног моделирања. Изузетак је био SRI International крајем деведесетих. Финансиран од стране Америчке владе, NSA-а и DARPA-е, SRI је проучавао дубоке неуронске мреже у препознавању говора и звучника. Хеков тим за препознавање звучника дошао је до првог значајног успеха са дубоким неуронским мрежама у процесирању говора у Националном институту за стандарде и технологију за препознавање звучника 1998. године. Док је SRI доживљавао успехе са дубоким неуронским мрежама у препознавању звучника, били су неуспешни у демонстрацији сличног успеха у препознавању говора. Деценију касније, Хинтон и Денг су заједно сарађивали, а затим са колегама из различитих група на Универзитету у Торину, Мајкрософту, Гуглу и IBM-у покренули ренесансу дубоких неуронских мрежа у препознавању говора.Keynote talk: Recent Developments in Deep Neural Networks. ICASSP, 2013 (by Geoff Hinton).
Принцип препознавања „сирових” функција над ручно изграђеном оптимизацијом је први пут успешно истражен у архитектури дубоког аутоенкодера на „сировом” спектрограму или у функцијама линеарне филтер-банке крајем 1990. године, показујући своју супериорност над функцијама Мел-Кепстрала које садрже фазе фиксне трансформације из спектрограма. Сирове особине говора, таласних облика, касније су произвеле одличне резултате већег обима.
Многи аспекти препознавања говора су били преузети од стране метода дубоког учења званог дуга краткотрајна меморија (LSTM), рекурентна неуронска мрежа објављена од стране Хохрајтера и Шмидхубера 1997. LSTM RNN избегавају проблеме нестајућег градијента и могу да науче задатке „веома дубоког учења” који захтевају сећање догађаја који су се догодили пре хиљаду одвојених временских корака, што је важно за говор. 2003. године LSTM је почео да буде конкурентан традиционалном препознавању говора у одређеним задацима. Касније је комбинован са везивном временском класификацијом (CTC) у стековима LSTM RNN-а.Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). An application of recurrent neural networks to discriminative keyword spotting. Proceedings of ICANN (2). pp. 220–229. 2015. године, Гуглово препознавање говора је наводно постигло драматични скок перформанси од 49% кроз CTC - обучени LSTM, који су постали доступни кроз Гуглову претрагу гласом.
Године 2006, су Хинтон и Салакхутидов су показали како вишеслојна feedforward неуронска мрежа може ефикасно бити обучити тренирајући слој истовремено, третирајући сваки слој као ненадгледану Болцманову машину, а затим је фино подесити помоћу надгледане повратне пропагације.