Swish функція це математична функція, що описується виразом:
де β є константою або параметром, який залежить від типу моделі.
Похідна функції .
Застосування Застосовується в якості функції активації штучного нейрона. У 2017 році, провівши аналіз даних ImageNet, дослідники з Google стверджували, що використання функції swish як функції активації в штучних нейронних мережах покращує продуктивність порівняно з функціями ReLU та сигмоподібної форми. Вважається, що однією з причин покращення є те, що функція swish допомагає полегшити проблему зникаючого градієнта під час зворотного поширення.
Див. також Передавальна функція штучного нейрона
Примітки