Aktivační funkce
![](http://upload.wikimedia.org/wikipedia/commons/thumb/0/09/P%C3%A1sma_citlivosti.png/220px-P%C3%A1sma_citlivosti.png)
Aktivační (přenosová) funkce neuronu v umělých neuronových sítích definuje výstup neuronu při zadání sady vstupů neuronu.[1] Nelineární aktivační funkce umožňují neuronovým sítím řešit netriviální, nelineární problémy. Klasická nelineární funkce je sigmoida o parametrech strmosti (určující šířku pásma citlivosti neuronu na svůj aktivační potenciál) a prahové hodnoty (určující posunutí počátku funkce) spolu s jejími limitními tvary jako je linearita pro strmost blížící se nekonečnu a ostrá nelinearita pro strmost blížící se nule:
- pak a pro resp. pro dostaneme resp.
Volbou aktivační funkce neuronů vstupní resp. výstupní vrstvy neuronové sítě můžeme určit způsob transformace dat na síť přiváděných:
- Sigmoida: - z ad 1) a ad 2) (viz níže) plyne
ad 1) z plyne
ad 2) z plyne
- Gaussova křivka: - z plyne
- Mexický klobouk: - uvedené transformaci resp. její nezáporné části odpovídají různá pásma citlivosti.
Parametry uvedených transformací mají následující význam:
ϑ – střední hodnota dat přiváděných na daný neuron z trénovací množiny
σ – směrodatná odchylka dat přiváděných na daný neuron z trénovací množiny
Kromě uvedených aktivačních funkcí se užívají ještě jejich různé modifikace:
- Identita - linearita modifikovaná posunutím středu symetrie do počátku
- Hyperbolická tangenta - rozšíření oboru hodnot sigmoidy na interval od -1 do +1
- ReLU - složení ostré linearity (vlevo od počátku) s identitou (vpravo od počátku)
- Radiální báze - Gaussova křivka resp. Mexický klobouk
Reference
- ↑ HAGAN, Martin T. Neural network design. druhé. vyd. [s.l.]: [s.n.], 2014. 800 s. Dostupné online. (anglicky)
Literatura
- KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7.