Funkcja aktywacji
Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej.
Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia[1].
W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak najpowszechniejsze są cztery: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (funkcja logistyczna, neuron sigmoidalny), funkcja tangensoidalna (funkcja tangens hiperboliczny, neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny)[1].
W poniższej tabeli przedstawiono funkcje aktywacji wraz z wzorami matematycznymi i dodatkowymi informacjami.
Funkcja aktywacji | Wzór matematyczny | Gładka | Monotoniczna | Różniczkowalna | Uwagi |
---|---|---|---|---|---|
Funkcja liniowa | ![]() | ![]() | ![]() |
| |
Jednostronnie obcięta funkcja liniowa | ![]() | ![]() | ![]() |
| |
Obcięta funkcja liniowa |
| ![]() | ![]() | ![]() |
|
Funkcja progowa unipolarna |
| ![]() | ![]() | ![]() |
|
Funkcja progowa bipolarna |
| ![]() | ![]() | ![]() |
|
Sigmoidalna funkcja unipolarna (funkcja logistyczna) |
| ![]() | ![]() | ![]() |
|
Sigmoidalna funkcja bipolarna (tangens hiperboliczny) |
| ![]() | ![]() | ![]() |
|
Funkcja Gaussa |
| ![]() | ![]() | ![]() |
|
Znormalizowana funkcja wykładnicza (softmax) | ![]() | ![]() | ![]() |
|