У штучному інтелекті диференційо́вний нейро́нний комп'ю́тер (ДНК; ) — архітектура нейронної мережі з доповненою пам'яттю (), реалізація якої зазвичай (але не за визначенням) є рекурентною. Модель опублікували 2016 року та ін. з DeepMind.

Застосування Диференційовний нейрокомп'ютер опосередковано черпає натхнення з архітектури фон Неймана, що робить її більш ефективною, ніж традиційні архітектури, у виконанні завдань, які є фундаментально алгоритмічними і не можуть бути вивчені шляхом пошуку .

Досі було продемонстровано, що ДНК можуть розв'язувати лише відносно прості завдання, які можна розв'язати за допомогою звичайного програмування. Але ДНК не потрібно програмувати для кожної задачі, їх можна навчати. Така здатність до концентрації уваги дає змогу користувачеві послідовно вводити складні структури даних, такі як графи, і викликати їх для подальшого використання. Крім того, вони можуть вивчати аспекти символьного мислення та застосовувати їх до робочої пам'яті. Дослідники, які опублікували цей метод, бачать перспективу в тому, що ДНК можна навчити виконувати складні, структуровані завдання та розв'язувати задачі з великими даними, які потребують певного типу мислення, як от створення відеокоментарів або семантичний аналіз тексту.

ДНК можна навчити орієнтуватися в системах швидкісного громадського транспорту та застосовувати цю мережу до іншої системи. Нейронна мережа без пам'яті зазвичай повинна вивчати кожну транспортну систему з нуля. У задачах обходу графів та опрацювання послідовностей із керованим навчанням ДНК працювали краще, ніж альтернативи, такі як довга короткочасна пам'ять або нейронна машина Тюрінга. Завдяки підходу навчання з підкріпленням до натхненної SHRDLU, ДНК, натренований за допомогою навчальної програми, навчився складати план. Він працював краще, ніж традиційна рекурентна нейронна мережа.

Архітектура

Мережі DNC введено як розширення нейронної машини Тюрінга (НМТ) з додаванням механізмів уваги до пам'яті, який керує тим, де зберігається пам'ять, та уваги до часу, який записує порядок подій. Така структура дає змогу ДНК бути стійкішим та абстрактнішим, ніж НМТ, і все ще виконувати завдання, які мають більш довгострокові залежності, ніж деякі попередники, як от довга короткочасна пам'ять. Пам'ять, яка є просто матрицею, може бути розподілена динамічно та доступна необмежено довго. ДНК є диференційовним від початку до кінця (кожен підкомпонент моделі є диференційовним, отже, і вся модель також). Це дає змогу ефективно оптимізувати їх за допомогою градієнтного спуску.

Модель ДНК подібна до архітектури фон Неймана, і завдяки можливості зміни обсягу пам'яті є повною за Тюрінгом.

Традиційний ДНК ДНК з першої публікації: Незалежні змінніВхідний векторЦільовий векторКонтролерВхідна матриця контролераГлибока (багатошарова) ДКЧПВектор воріт входуВектор воріт виходуВектор воріт забуванняВектор воріт стану,Вектор воріт приховування,Вектор виходу ДНКГоловки читання й записуПараметри інтерфейсуГоловки читанняКлючі читанняМіри впливу читанняВорота звільненняРежими читання,Головка записуКлюч записуМіри впливу записуВектор стиранняВектор записуВорота розподілуВорота записуПам'ятьМатриця пам'яті,Матриця з Вектор використанняВаги пріоритету,Матриця часових посилань,Ваги записуВаги читанняВектори читанняАдресація за вмістом,Ключ пошуку , міра впливу ключа Індекси ,відсортовані в порядку зростання використанняВаги розподілуВаги запису за вмістомВаги читання за вмістомВаги прямого зв’язкуВаги зворотного зв’язкуВектор збереження пам’ятіВизначенняМатриця ваг, вектор зсувуМатриця нулів, матриця одиниць, одинична матрицяПоелементне множенняКосинусна схожістьСигмоїдна функціяФункція «одиниця плюс»    for j = 1, …, K.Функція Softmax

Розширення Одним із удосконалень є розсіяна адресація пам'яті, яка зменшує часову та просторову складність у тисячі разів. Цього можна досягти, використовуючи алгоритм наближеного найближчого сусіда, як от , або випадкове k-дерево, як от Fast Library for Approximate Nearest Neighbors від UBC. Додавання адаптивного часу обчислення () відокремлює час обчислення від часу опрацювання даних, використовуючи той факт, що довжина задачі та її складність не завжди однакові. Навчання з використанням синтетичних градієнтів працює значно краще, ніж зворотне поширення в часі. Стійкість можна покращити за допомогою нормалізації шарів та регуляризацією на основі відсіву проходів ().

Див. також

Примітки

Посилання Покроковий посібник з рівнянь, що керують диференційованими нейронними комп'ютерами Диференційовна нейронна мережа DeepMind мислить глибоко