У машиннім навчанні магістра́лева мере́жа () — це один з підходів до оптимізування мереж та збільшення їхньої глибини. Магістралеві мережі використовують навчені вентильні механізми для регулювання інформаційного потоку, натхненного рекурентними нейронними мережами довгої короткочасної пам'яті (ДКЧП). Ці вентильні механізми дозволяють нейронним мережам мати шляхи для проходження інформації крізь різні шари («інформаційні магістралі», ).
Магістралеві мережі використовують як частину задач та розпізнавання мовлення.
Модель Ця модель має два вентилі на додачу до вентилю H(WH, x): перетворювальний вентиль () T(WT, x) та вентиль перенесення () C(WC, x). Ці два останні вентилі є нелінійними передавальними функціями (умовно сигмоїдними функціями). Функція H(WH, x) може бути будь-якою бажаною передавальною функцією.
Вентиль перенесення визначають як C(WC, x) = 1 − T(WT, x). Тоді як перетворювальний вентиль — це просто вентиль із сигмоїдною передавальною функцією.
Структура Структура прихованого шару відповідає рівнянню:
Перевага магістралевої мережі над звичайними глибинними нейронними мережами полягає в тому, що вона розв'язує або частково запобігає проблемі зникання градієнта, що призводить до спрощення оптимізування нейронних мереж.
Примітки