Učenje bez nadzora
Učenje bez nadzora je metoda u mašinskom učenju gde, za razliku od učenja pod nadzorom, algoritmi uče obrasce isključivo iz neoznačenih podataka. Očekuje se da će kroz mimikriju, koja je važan način učenja kod ljudi, mašina biti prinuđena da izgradi koncizan prikaz svog sveta, a zatim iz njega generiše imaginative sadržaj.
Druge metode u spektru nadzora su podržano učenje gde se mašini daje samo numerička ocena performansi kao smernica, i slab ili polunadzor gde je mali deo podataka označen i samonadziran.
Neuronske mreže
Zadaci naspram metoda
![](http://upload.wikimedia.org/wikipedia/commons/thumb/9/90/Task-guidance.png/300px-Task-guidance.png)
Zadaci neuronske mreže se često kategorišu kao diskriminativni (prepoznavanje) ili generativni (imaginacija). Često, ali ne uvek, diskriminativni zadaci koriste nadgledane metode, a generativni zadaci koriste nenadgledane (pogledajte Venov dijagram); međutim, razdvajanje je veoma maglovito. Na primer, prepoznavanje objekata favorizuje nadgledano učenje, ali učenje bez nadzora takođe može grupirati objekte u grupe. Štaviše, kako progress napreduje, neki zadaci koriste obe metode, a neki zadaci prelaze od jednih do drugih. Na primer, prepoznavanje slika je počelo kao pretežno nadgledano, ali je postalo hibridno korišćenjem nenadzirane prethodne obuke, a zatim je ponovo krenulo ka nadzoru sa pojavom eliminacije, ReLU-a i adaptivnih stopa učenja.
Trening
Tokom faze učenja, mreža bez nadzora pokušava da oponaša podatke koji su joj dati i koristi grešku u svom oponašanom izlazu da se ispravi (tj. ispravi svoje pondere i pristranosti). Ponekad se greška izražava kao niska verovatnoća da dođe do pogrešnog izlaza, ili se može izraziti kao nestabilno stanje visoke energije u mreži.
Za razliku od dominantne upotrebe bekpropagacije od strane nadgledanih metoda, nenadgledano učenje takođe koristi druge metode uključujući: Hopfieldovo pravilo učenja, Bolcmanovo pravilo učenja, kontrastivnu divergenciju, budno spavanje, varijaciono zaključivanje, maksimalnu verovatnoću, maksimalna aposteriornu procena, Gibsovo uzorkovanje i greške bekpropagacione rekonstrukcije ili reparametarizacije skrivenog stanja. Pogledajte tabelu ispod za više detalja.
Energija
Energetska funkcija je makroskopska mera aktivacionog stanja mreže. U Bolcmanovim mašinama ona igra ulogu funkcije troškova. Ova analogija sa fizikom inspirisana je analizom makroskopske energije gasa Ludviga Bolcmana iz mikroskopskih verovatnoća kretanja čestica , gde je k Bolcmanova konstanta, a T je temperatura. U RBM mreži relacija je ,[1] gde i variraju u svim mogućim aktivacioni obrascima i . Preciznije, , gde je obrazac za aktiviranje svih neurona (vidljivih i skrivenih). Otuda neke rane neuronske mreže nose naziv Bolcmanova mašina. Pol Smolenski naziva harmonijom. Mreža nastoji da ostvari nisku energiju koja je visoka harmonija.
Mreže
Ova tabela prikazuje dijagrame povezivanja različitih nenadziranih mreža, čiji će detalji biti dati u odeljku o poređenju mreža. Krugovi su neuroni, a ivice između njih su ponderisane veze. Kako se dizajn mreže menja, dodaju se funkcije koje omogućavaju nove mogućnosti ili se uklanjaju kako bi učenje bilo brže. Na primer, neuroni se menjaju između determinističkog (Hopfild) i stohastičkog (Bolcman) da bi omogućili robustan izlaz, težine se uklanjaju unutar sloja (RBM) da bi se ubrzalo učenje, ili je dozvoljeno da veze postanu asimetrične (Helmholc).
Hopfild | Bolcman | RBM | Složeni Bolcman |
---|---|---|---|
![]() | ![]() | ![]() | ![]() |
Helmholc | Autoinkoder | VAE |
---|---|---|
![]() | ![]() | ![]() |
Od mreža koje nose imena ljudi, samo je Hopfild radio direktno sa neuronskim mrežama. Bolcman i Helmholc su živeli pre ere veštačkih neuronskih mreža, ali je njihov rad u fizici i fiziologiji inspirisao analitičke metode koje su korištene.
Istorija
1969 | Perceptroni Minskog & Paperta pokazuju da perceptron bez skrivenih slojeva ne uspeva na XOR-u |
1970-te | (približni datumi) Prva AI zima |
1974 | Izingov magnetni model koji je predložio VA Litl za spoznaju |
1980 | Fukušima uvodi neokognitron, koji je kasnije nazvan konvoluciona neuronska mreža. Uglavnom se koristi u SL, ali zaslužuje da se pomene. |
1982 | Izingova varijanta Hopfildove mreže koju je Džon Hopfild opisao kao CAM i klasifikatori. |
1983 | Izingova varijanta Bolcmanove mašine sa probabilističkim neuronima koje su opisali Hinton i Sejnovski nakon Šeringtonovog i Kirkpatrikovog rada iz 1975. godine. |
1986 | Pol Smolenski objavljuje teoriju harmonije, koja je RBM sa praktično istom Bolcmanovom energetskom funkcijom. Smolenski nije dao šemu praktične obuke. Hinton je to učinio sredinom 2000-ih. |
1995 | Šmituber uvodi LSTM neuron za jezike. |
1995 | Dajan & Hinton predstavljaju Helmholcovu mašinu |
1995-2005 | (približni datumi) Druga AI zima |
2013 | Kingma, Rezende, & co. su uveli varijantne autokodere kao Bajesovu grafičku mrežu verovatnoće, sa neuronskim mrežama kao komponentama. |
Specifične mreže
Ovde su itaknute neke od karakteristika odabranog seta mreža.
- Hopfildova mreža
- Feromagnetizam je inspirisao Hopfildove mreže. Neuronu odgovara domen gvožđa sa binarnim magnetnim momentima gore i dole, a neuronske veze odgovaraju uticaju domena jedni na druge. Simetrične veze omogućavaju globalnu energetsku formulaciju. Tokom zaključivanja, mreža ažurira svako stanje koristeći standardnu funkciju koraka aktivacije. Simetrični ponderi i prave energetske funkcije garantuju konvergenciju do stabilnog obrasca aktivacije. Asimetrične težine je teško analizirati. Hopfildove mreže se koriste kao Adresabilne memorije sadržaja (CAM).
- Bolcmanova mašina
- Ovo su stohastičke Hopfildove mreže. Njihova vrednost stanja je uzorkovana iz ovog pdf-a na sledeći način: pretpostavimo da se binarni neuron aktivira sa Bernulijevom verovatnoćom p(1) = 1/3 i počiva sa p(0) = 2/3. Od njega se uzorkuje uzimanjem ravnomerno raspoređenog slučajnog broja y, i uključivanjem u invertiranu kumulativnu funkciju raspodele, što je u ovom slučaju funkcija koraka sa pragom 2/3. Inverzna funkcija = { 0 if x <= 2/3, 1 if x > 2/3 }.
- Mreža sigmoidnog uverenja
- Uvedena od strane Radforda Nila 1992. godine, ova mreža primenjuje ideje iz probabilističkih grafičkih modela na neuronske mreže. Ključna razlika je u tome što čvorovi u grafičkim modelima imaju unapred dodeljena značenja, dok se karakteristike neurona mreža verovanja određuju nakon obuke. Mreža je retko povezani usmereni aciklični graf sastavljen od binarnih stohastičkih neurona. Pravilo učenja potiče od maksimalne verovatnoće na p(X): Δwij sj * (si - pi), gde je pi = 1 / ( 1 + eponderisani ulazi u neuron i ). sj su aktivacije iz nepristrasnog uzorka posteriorne distribucije i to je problematično zbog problema objašnjavanja koji je pokrenuo Judea Perl. Varijabilne Bajesove metode koriste surogat posterior i očigledno zanemaruju ovu složenost.
- Mreža dubokih uverenja
- Uvedena od strane Hintona, ova mreža je hibrid RBM-a i mreže sigmoidnog verovanja. Gornja 2 sloja su RBM, a drugi sloj prema dole formira sigmoidnu mrežu verovanja. Jedan ga trenira metodom naslaganog RBM-a, a zatim odbacuje pondere za prepoznavanje ispod gornjeg RBM-a. Prema podacima iz 2009. godine, smatra se da je 3-4 sloja optimalna dubina.[2]
- Helmholcova mašina
- Ovo su rane inspiracije za varijacione automatske enkodere. Njegove 2 mreže kombinovane u pondere oblika jedan—napred upravljaju prepoznavanjem, a ponderi unazad implementiraju imaginaciju. To je možda prva mreža koja radi i jedno i drugo. Helmholc nije radio na mašinskom učenju, ali je inspirisao pogled na „mašinu statističkog zaključivanja čija je funkcija da zaključi verovatne uzroke senzornog unosa“.[3] Stohastički binarni neuron daje verovatnoću da je njegovo stanje 0 ili 1. Unos podataka se obično ne smatra slojem, ali u režimu generisanja Helmholcove mašine, sloj podataka prima ulaz iz srednjeg sloja i ima odvojene pondere za ovu svrhu, te se smatra slojem. Stoga ova mreža ima 3 sloja.
- Variacijski autokoder
- Oni su inspirisani Helmholcovim mašinama i kombinuju probabilističku mrežu sa neuronskim mrežama. Autokoder je troslojna CAM mreža, gde bi srednji sloj trebalo da bude neka interna reprezentacija ulaznih obrazaca. Neuralna mreža kodera je distribucija verovatnoće qφ(z given x), a mreža dekodera je pθ(x given z). Ponderi se nazivaju fi & teta, a ne W i V kao kod Helmholca, što je kozmetička razlika. Ove 2 mreže mogu biti potpuno povezane, ili mogu koristiti drugačije NN šemu.
Reference
- ^ Hinton, G. (2012). „A Practical Guide to Training Restricted Boltzmann Machines” (PDF). Neural Networks: Tricks of the Trade. Lecture Notes in Computer Science. 7700. Springer. стр. 599—619. ISBN 978-3-642-35289-8. doi:10.1007/978-3-642-35289-8_32.
- ^ Hinton, Geoffrey (септембар 2009). „Deep Belief Nets” (video). CS1 одржавање: Формат датума (веза)
- ^ Peter, Dayan; Hinton, Geoffrey E.; Neal, Radford M.; Zemel, Richard S. (1995). „The Helmholtz machine.”. Neural Computation. 7 (5): 889—904. PMID 7584891. S2CID 1890561. doi:10.1162/neco.1995.7.5.889. hdl:21.11116/0000-0002-D6D3-E
.
Literatura
- Bousquet, O.; von Luxburg, U.; Raetsch, G., ур. (2004). Advanced Lectures on Machine Learning. Springer. ISBN 978-3540231226.
- Duda, Richard O.; Hart, Peter E.; Stork, David G. (2001). „Unsupervised Learning and Clustering”. Pattern classification (2nd изд.). Wiley. ISBN 0-471-05669-3.
- Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). „Unsupervised Learning”. The Elements of Statistical Learning: Data mining, Inference, and Prediction. Springer. стр. 485—586. ISBN 978-0-387-84857-0. doi:10.1007/978-0-387-84858-7_14.
- Hinton, Geoffrey; Sejnowski, Terrence J., ур. (1999). Unsupervised Learning: Foundations of Neural Computation. MIT Press. ISBN 0-262-58168-X.