Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej.
Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia.
W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak najpowszechniejsze są cztery: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (funkcja logistyczna, neuron sigmoidalny), funkcja tangensoidalna (funkcja tangens hiperboliczny, neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny).
W poniższej tabeli przedstawiono funkcje aktywacji wraz z wzorami matematycznymi i dodatkowymi informacjami.
Funkcja aktywacjiWzór matematycznyGładkaMonotonicznaRóżniczkowalnaUwagi Funkcja liniowa Funkcja nieograniczona Z reguły Jednostronnie obcięta funkcja liniowa (ReLU) (oprócz punktu ) Brak górnej granicy Obcięta funkcja liniowa (oprócz punktów i ) Przedziałami liniowa Funkcja progowa unipolarna a – zadana wartość progowa Z reguły Taką funkcję aktywacji zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts Funkcja progowa bipolarna a – zadana wartość progowa Z reguły Sigmoidalna funkcja unipolarna (funkcja logistyczna) Z reguły Gdy funkcja przechodzi w progową unipolarną funkcję aktywacji Sigmoidalna funkcja bipolarna (tangens hiperboliczny) Z reguły Gdy funkcja przechodzi w progową bipolarną funkcję aktywacji Funkcja Gaussa e – liczba EuleraZnormalizowana funkcja wykładnicza (softmax) Prawdopodobieństwo zawsze sumuje się do jedności: e – liczba Eulera K – szerokość wektorów wejściowego i wyjściowego Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych
Przypisy
Kategoria:Sieci neuronowe