Функція активації, передавальна функція або функція збудження (, також excitation function, squashing function, transfer function) штучного нейрона — залежність вихідного сигналу штучного нейрона від вхідного.
Зазвичай передавальна функція відображає дійсні числа на інтервал або .
Більшість видів нейронних мереж для функції активації використовують сигмоїди. ADALINE і самоорганізаційні карти використовують лінійні функції активації, а радіально базисні мережі використовують радіальні базисні функції.
Математично доведено, що тришаровий перцептрон з використанням сигмоїдної функції активації може апроксимувати будь-яку неперервну функцію з довільною точністю (Теорема Цибенка).
Метод зворотного поширення помилки вимагає, щоб функція активації була неперервною, нелінійною, монотонно зростаючою, і диференційовною.
В задачі класифікації нейрони останнього шару зазвичай використовують softmax як функцію активації.
У хемометриці — функція, яка використовується в методі нейронної сітки для перетворення у вузлах вхідних даних з будь-якої області значень (зокрема неперервних) у чітко окреслений ряд значень (напр., в 0 чи 1).Глосарій термінів з хімії // Й. Опейда, О. Швайка. Ін-т фізико-органічної хімії та вуглехімії ім. Л. М. Литвиненка НАН України, Донецький національний університет. — Донецьк: Вебер, 2008. — 758 с. — ISBN 978-966-335-206-0
Порівняння передавальних функцій Деякі бажані властивості передавальної функції включають:
Нелінійна — коли передавальна функція нелінійна, то, як доведено, двошарова нейронна мережа є універсальною апроксимацією функцій. Тотожна передавальна функція не має такої властивості. Коли декілька шарів використовують тотожну передавальну функцію, тоді вся мережа еквівалентна одношаровій моделі. Неперервна диференційовність — ця властивість бажана (RELU не є неперервно диференційовною і має неоднозначне рішення для оптимізації заснованій на градієнті) для використання методів оптимізації заснованих на градієнті. Передавальна функція двійковий крок не диференційовна у 0, але диференційовна в усіх інших значення, що є проблемою для методів заснованих на градієнті. Область визначення. Монотонність. Гладка функція з монотонною похідною. Наближення до тотожної функції в початку координат.
У наступній таблиці порівнюються деякі передавальні функції від однієї змінної з попереднього шару: Назва Графік Рівняння Похідна (по x) Область Порядок гладкості Монотонність Монотонність похідної Наближення до Тотожної функції в початку координат Тотожна Двійковий крок Логістична (a.k.a. Сігмоїда або М'який крок) TanH ArcTan Softsign Inverse square root unit (ISRU) Випрямлена лінійна (Rectified linear unit, ReLU) Leaky rectified linear unit (Leaky ReLU) Parameteric rectified linear unit (PReLU) Randomized leaky rectified linear unit (RReLU) Exponential linear unit (ELU) Scaled exponential linear unit (SELU) з та S-shaped rectified linear activation unit (SReLU) are parameters. Inverse square root linear unit (ISRLU) Adaptive piecewise linear (APL) SoftPlus Bent identity Sigmoid-weighted linear unit (SiLU)Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning (a.k.a. SwishSearching for Activation Functions) SoftExponential Синусоїда Sinc Гауссіан Тут, це функція Гевісайда. є стохастичною змінною вибраною з нормального розподілу під час навчання і зафіксована як очікуване значення розподілу до часу тестування. Тут, — логістична функція. виконується для всього інтервалу.
Наступна таблиця містить передавальні функції від декількох змінних:
Назва Рівняння Похідна(ні) Область Порядок гладкості Softmax for = 1, …, Maxout Тут, — символ Кронекера.
Див. також Функція втрат
Примітки