Funkcja softmax, softargmax, znormalizowana funkcja wykładnicza (, ) – funkcja matematyczna odwzorowująca wektor liczb w wektor prawdopodobieństw, w taki sposób, żeby prawdopodobieństwa były proporcjonalne do kolejnych liczb przekształconych za pomocą funkcji wykładniczejSoftmax Function in ScienceDirect .
Funkcja softmax jest uogólnieniem funkcji logistycznej na wiele wymiarów i jest stosowana w wielomianowej regresji logistycznej. Funkcja softmax jest również często używana jako funkcja aktywacji w ostatniej warstwie sztucznej sieci neuronowej w celu normalizacji wyników sieci do rozkładu prawdopodobieństwa przewidywanych klas wyjściowych.
Definicja Argumentem funkcji softmax jest wektor liczb rzeczywistych (). Standardowa (jednostkowa) funkcja softmax odwzorowuje ten wektor w wektor wynikowy, który można potraktować jak rozkład prawdopodobieństwa składający się z prawdopodobieństw. Prawdopodobieństwa wynikowe , gdzie , są proporcjonalne do liczb w wektorze wejściowym przekształconych za pomocą funkcji wykładniczej i sumują się do 1:
Oznacza to, że przed zastosowaniem funkcji softmax niektóre składowe wektora mogą być ujemne lub większe od 1, nie muszą się też sumować do jedności, ale po przekształceniu każdy element wektora będzie w przedziale i ich suma będzie wynosić 1.