V zadnjih 10 letih smo po zaslugi tako imenovane metode globokega učenja prejeli najboljše sisteme umetne inteligence - na primer prepoznavalce govora na pametnih telefonih ali najnovejši Googlov samodejni prevajalec. Globoko učenje je pravzaprav postalo nov trend v že znanih nevronskih mrežah, ki so v modi in izhajajo že več kot 70 let. Nevronske mreže sta prvič predlagala Warren McCullough in Walter Pitts leta 1994, dva raziskovalca na univerzi v Chicagu. Leta 1952 so se zaposlili na Massachusetts Institute of Technology, da bi postavili temelje za prvi oddelek za spoznanje.
Nevronske mreže so bile eno glavnih smeri raziskovanja tako nevroznanosti kot računalništva do leta 1969, ko sta jih po legendi ubila matematika MIT Marvin Minsky in Seymour Papert, ki sta leto pozneje postala sovoditelja novega laboratorija za umetno inteligenco MIT.
Ta metoda je v osemdesetih letih prejšnjega stoletja doživela preporod, v prvem desetletju novega stoletja rahlo zasenčila v senco in se v drugem vrnila s fanfare, na grebenu neverjetnega razvoja grafičnih čipov in njihove procesorske moči.
"Obstaja dojemanje, da so ideje v znanosti podobne epidemiji virusov," pravi Tomaso Poggio, profesor kognicije in možganskih ved na MIT. "Verjetno obstaja pet ali šest glavnih sevov virusov gripe, eden od njih pa se vrača z zavidljivo 25-letno hitrostjo. Ljudje se okužijo, pridobijo imuniteto in naslednjih 25 let ne zbolijo. Potem se pojavi nova generacija, pripravljena na okužbo z istim sevom virusa. V naravoslovje se ljudje zaljubijo v neko idejo, ona vse zgrozi, nato jo premagajo do smrti in si pridobijo imuniteto - se je naveličajo. Ideje bi morale imeti podobno frekvenco."
Težka vprašanja
Nevronske mreže so metoda strojnega učenja, kjer se računalnik nauči izvajati določene naloge z analizo primerov usposabljanja. Običajno so ti primeri vnaprej označeni ročno. Sistem za prepoznavanje predmetov lahko na primer namoči na tisoče označenih slik avtomobilov, hiš, skodelic za kavo in podobno, nato pa lahko najdete vizualne vzorce v tistih slikah, ki dosledno korelirajo z določenimi oznakami.
Nevronsko mrežo pogosto primerjamo s človeškimi možgani, ki imajo tudi takšna omrežja, sestavljena iz tisoč ali milijonov preprostih procesnih vozlišč, ki so tesno povezana. Večina sodobnih nevronskih mrež je organizirana v plasti vozlišč in podatki tečejo po njih samo v eno smer. Posamezno vozlišče je lahko povezano z več vozlišči v sloju pod njim, od koder prejme podatke, in več vozlišči v zgornjem sloju, na katere prenaša podatke.
Promocijski video:
Vozlišče vsakemu od teh dohodnih povezav dodeli številko - "teža". Ko je omrežje aktivno, vozlišče prejme različne nize podatkov - različna števila - za vsako od teh povezav in se pomnoži z ustrezno težo. Nato sešteje rezultate in oblikuje eno samo številko. Če je ta številka pod pragom, vozlišče ne prenese podatkov v naslednji sloj. Če število presega prag, se vozlišče "zbudi", tako da pošlje številko - vsoto tehtanih vhodnih podatkov - vsem odhodnim povezavam.
Ko treniramo nevronsko mrežo, so vse njene uteži in pragovi sprva nastavljeni v naključnem vrstnem redu. Podatki o vadbi se vnesejo v spodnji sloj - vhodni sloj - in prehajajo skozi naslednje sloje, množijo in seštevajo na kompleksen način, dokler končno ne pridejo, že preoblikujejo, v izhodni sloj. Med treningom se uteži in mejne vrednosti nenehno prilagajajo, dokler podatki o vadbi z istimi nalepkami ne dajo podobnih zaključkov.
Misel in stroji
Nevronske mreže, ki sta jih leta 1944 opisala McCullough in Pitts, so imele tako prage kot uteži, vendar niso bile organizirane po plasteh, znanstveniki pa niso določili nobenega posebnega mehanizma učenja. Toda McCullough in Pitts sta pokazala, da lahko nevronsko omrežje načeloma izračuna katero koli funkcijo, kot kateri koli digitalni računalnik. Rezultat je bil bolj s področja nevroznanosti kot računalništva: domnevati je bilo treba, da je mogoče človeške možgane gledati kot računalniško napravo.
Nevronske mreže so še naprej dragoceno orodje za nevrobiološke raziskave. Na primer, posamezne plasti omrežja ali pravila za prilagajanje uteži in pragov so reproducirali opažene značilnosti človeške nevroanatomije in kognitivnih funkcij in zato vplivali na to, kako možgani obdelujejo informacije.
Prvo tragibilno nevronsko mrežo Perceptron (ali Perceptron) je leta 1957 demonstriral psiholog z univerze Cornell Frank Rosenblatt. Zasnova Perceptrona je bila podobna sodobni nevronski mreži, le da je imel en plast z nastavljivimi utežmi in pragovi, vnetimi med vhodno in izhodno plastjo.
"Perceptroni" so se v psihologiji in računalništvu aktivno raziskovali vse do leta 1959, ko sta Minsky in Papert izdala knjigo z naslovom "Perceptroni", ki je pokazala, da je početje povsem običajnih izračunov na perceptronih časovno nepraktično.
"Seveda vse omejitve nekako izginejo, če stroje naredite nekoliko bolj zapletene," na primer v dveh slojih, "pravi Poggio. Toda knjiga je takrat ohlajajoče vplivala na raziskave nevronske mreže.
"Te stvari je vredno razmisliti v zgodovinskem kontekstu," pravi Poggio. »Dokaz je bil narejen za programiranje v jezikih, kot je Lisp. Nedolgo pred tem so ljudje tiho uporabljali analogne računalnike. Takrat še ni bilo povsem jasno, do česa bo pripeljalo programiranje. Mislim, da so to nekoliko premagali, a kot vedno ne morete vsega razdeliti na črno in belo. Če mislite na to kot na konkurenco med analognim in digitalnim računanjem, bi se potem borili za tisto, kar je bilo potrebno."
Periodičnost
Vendar so znanstveniki do osemdesetih let razvili algoritme za spreminjanje uteži in pragov nevronske mreže, ki so bili dovolj učinkoviti za omrežja z več kot eno plastjo, s čimer so odstranili številne omejitve, ki sta jih identificirala Minsky in Papert. To območje je doživelo renesanso.
Toda z razumnega vidika je v nevronskih mrežah nekaj manjkalo. Dovolj dolgo usposabljanje bi lahko privedlo do revizije omrežnih nastavitev, dokler ne začne podatke razvrščati na uporaben način, ampak kaj pomenijo te nastavitve? Katere značilnosti slike gleda prepoznavalec predmeta in kako jih sestavlja, da tvorijo vizualne podpise avtomobilov, hiš in skodelic kave? Študija teže posameznih spojin na to vprašanje ne bo odgovorila.
V zadnjih letih so računalniški znanstveniki začeli z iznajdljivimi metodami za določanje analitičnih strategij, ki so jih sprejele nevronske mreže. Toda v osemdesetih letih prejšnjega stoletja so bile strategije teh mrež nerazumljive. Zato so na prelomu stoletja nevronske mreže nadomeščali vektorski stroji, alternativni pristop k strojnemu učenju, ki temelji na čisti in elegantni matematiki.
Nedavni porast zanimanja za nevronske mreže - revolucija globokega učenja - je posledica igralniške industrije. Zapletena grafika in hiter tempo sodobnih video iger zahtevata strojno opremo, ki bo lahko sledila trendu, kar ima za posledico GPU (grafično procesno enoto) z več tisoč relativno preprostimi procesorskimi jedri na enem čipu. Znanstveniki so kmalu spoznali, da je arhitektura GPU popolna za nevronske mreže.
Sodobni grafični procesorji so omogočili gradnjo omrežij iz šestdesetih let prejšnjega stoletja in dvo- in triplastnih omrežij iz osemdesetih let v šopke 10-, 15- in celo 50-slojnih omrežij. To je tisto, za kar je pri "globokem učenju" odgovorna beseda "globoko". Do globine mreže. Globoko učenje je trenutno odgovorno za najučinkovitejše sisteme na skoraj vseh področjih raziskovanja umetne inteligence.
Pod pokrovom
Teoretiki še vedno skrbijo nepreglednost omrežja, vendar je na tem področju napredek. Poggio vodi raziskovalni program o teoretičnih temeljih inteligence. Pred kratkim je Poggio s sodelavci izdal teoretično študijo nevronskih mrež v treh delih.
Prvi del, ki je bil prejšnji mesec objavljen v mednarodni reviji za avtomatizacijo in računalništvo, obravnava obseg izračunov, ki jih lahko opravljajo mreže za globoko učenje, in kadar globoke mreže izkoristijo prednost plitvih. Drugi in tretji del, ki sta bila objavljena kot predavanja, obravnavata izzive globalne optimizacije, torej zagotavljanje, da bo omrežje našlo nastavitve, ki najbolje ustrezajo njegovim podatkom o usposabljanju, in primere, ko mreža tako dobro razume specifike svojih podatkov o usposabljanju. ki ne more posploševati drugih manifestacij istih kategorij.
Pred nami je še veliko teoretičnih vprašanj, na odgovore bo treba odgovoriti. Vendar obstaja upanje, da bodo nevronske mreže končno lahko prekinile krog generacij, ki jih pahne v toploto in včasih tudi hladno.
ILYA KHEL