Ве́нтильні рекуре́нтні вузли́ (ВРВ, ) — це вентильний механізм у рекурентних нейронних мережах, представлений 2014 року. Вони подібні до довгої короткочасної пам'яті з вентилем забування, але мають менше параметрів, оскільки не мають вентиля виходу.
Було виявлено, що їхня продуктивність на моделюванні поліфонічної музики та мовленнєвого сигналу аналогічна продуктивності ДКЧП.
Однак, як показали Гейл Вейз (), Іов Голдберг () та Еран Яхав (), ДКЧП «суттєво сильніше» ВРВ, бо може виконувати необмежений підрахунок, неможливий для ВРВ. Ось чому ВРВ не може вивчити прості мови, з якими впоралась ДКЧП.
Аналогічно, як показали Денні Бритз (), Анна Голді (, Мінь-Тханг Луонг () і Куок Лей () з Google Brain, вузли ДКЧП незмінно перевершують вузли ВРВ у «передовому широкомасштабному аналізі варіацій архітектури для нейронного машинного перекладу».
Архітектура Символ позначає добуток Адамара. Початкове значення .
Повний рекурентний вузол
Повний рекурентний вузол працює наступним чином. На вхід подаються значення вектору входу та значення виходу (при , вектор виходу ). По ним обчислюється претендент на нове значення виходу — вектор вузла скидання () , який обчислюється як функція активації (зазвичай сигмоїд) від матричного виразу по параметрам , та . Незалежно, подібним чином, обчислюється вектор вузла уточнення () . Цей вектор містить значення, які визначають, чи варто залишити значення зі старого вектору, чи взяти нове значення. Фактично, це набір «вентилів» (), які «пропускають» або старе, або нове значення. Далі обчислюється вектор виходу , в якому з ймовірністю береться старе значення з вектору , або з ймовірністю обчислюється нове значення.
Формули для обчислень наступні:
Змінні : вектор входу : вектор виходу : вектор вузла уточнення : вектор вузла скидання , та : матриці та вектор параметрів
Функції активації
: В оригіналі є сигмоїдною функцією. : В оригіналі є гіперболічним тангенсом.
Примітки