Takoj, ko je doktor Blake Richards slišal za globoko učenje, je spoznal, da se sooča z več kot le z metodo, ki bo revolucionirala umetno inteligenco. Spoznal je, da gleda na človeško možgane nekaj temeljnega. Bilo je v začetku 2000-ih in Richards je z Jeffom Hintonom predaval tečaj na univerzi v Torontu. Hintonu, ki je stal za oblikovanjem algoritma, ki je osvojil svet, so ponudili uvodni tečaj o njegovi metodi poučevanja, ki so ga navdihnili človeški možgani.
Ključne besede tukaj so "z možgani". Kljub Richardsovi prepričanju je stava igrala proti njemu. Človeški možgani, kot se je izkazalo, nimajo pomembne funkcije, ki je programirana v algoritmih globokega učenja. Na površini so ti algoritmi kršili osnovna biološka dejstva, ki so jih že dokazali nevroznanstveniki.
Kaj pa, če sta globoko učenje in možgani dejansko združljivi?
In tako je v novi študiji, objavljeni v eLife, Richards v sodelovanju z DeepMind predlagal nov algoritem, ki temelji na biološki strukturi nevronov v neokorteksu. V možganski skorji so možne višje kognitivne funkcije, kot so sklepanje, napovedovanje in fleksibilno razmišljanje.
Ekipa je svoje umetne nevrone združila v večplastno mrežo in izzvala nalogo klasičnega računalniškega vida - prepoznati ročno napisane številke.
Novi algoritem je odlično opravil delo. Pomembna pa je še ena stvar: analiziral je primere za učenje na enak način kot algoritmi za globoko učenje, vendar je bil v celoti zasnovan na temeljni biologiji možganov.
"V biološki strukturi je možno poglobljeno učenje," so zaključili znanstveniki.
Ker je ta model trenutno računalniška različica, Richards upa, da bo štafeto prenesel eksperimentalnim nevroznanstvenikom, ki bi lahko preizkusili, ali takšen algoritem deluje v pravih možganih.
Promocijski video:
V tem primeru je mogoče podatke posredovati računalničarjem, da razvijejo vzporedno in učinkovite algoritme, na katerih se bodo izvajali naši stroji. To je prvi korak k združitvi obeh področij v "virtuoznem plesu" odkrivanja in inovativnosti.
Iskanje grešnega kozla
Čeprav ste verjetno slišali, da je AI v zadnjem času premagal najboljšega med najboljšimi v Go-ju, komaj veste, kako natančno delujejo algoritmi, ki stojijo za tem AI.
Na kratko, globoko učenje temelji na umetni nevronski mreži z virtualnimi "nevroni". Tako kot visok nebotičnik je mreža strukturirana v hierarhiji: nevroni na nizki ravni procesirajo vhod - na primer vodoravne ali navpične palice, ki sestavljajo številko 4 - in nevroni na visoki ravni obdelujejo abstraktne vidike številke 4.
Če želite usposobiti omrežje, mu dajete primere tega, kar iščete. Signal se širi po omrežju (povzpne se po stopnicah stavbe) in vsak nevron poskuša videti nekaj temeljnega v delu "četverice".
Ko se otroci naučijo novih stvari, omrežje na začetku ne deluje dobro. Daje vse, kar je po njenem mnenju videti kot številka štiri - in dobiš slike v duhu Picassa.
Toda tako se nadaljuje učenje: algoritem ujema izhod z idealnim vhodom in izračuna razliko med obema (beri: napake). Napake se "širijo nazaj" po omrežju, trenirajo vsak nevron, pravijo, to ni tisto, kar iščete, poglejte bolje.
Po milijonih primerov in ponovitev splet začne brezhibno delovati.
Signal napake je izredno pomemben za učenje. Brez učinkovite "povratne širitve napak" omrežje ne bo vedelo, kateri od njegovih nevronov je napačen. V iskanju grešnega kozla se umetna inteligenca izboljša.
Tudi možgani to počnejo. Ampak kako? Pojma nimamo.
Biološka slepa ulica
Očitno je, da rešitev za globoko učenje ne deluje.
Izjemno pomembna funkcija je backpropagiranje napake. Za pravilno delovanje potrebuje določena infrastruktura.
Najprej mora vsak nevron v omrežju prejeti obvestilo o napaki. Toda v možganih so nevroni povezani le z nekaj (če sploh) partnerji na nižji stopnji. Da bi hrbtenica delovala v možganih, morajo nevroni na prvih ravneh zaznavati informacije iz milijardnih povezav v spodnjih kanalih - in to je biološko nemogoče.
Medtem ko nekateri algoritmi za globoko učenje prilagajajo lokalno obliko hrbtnega širjenja napak - v bistvu med nevroni -, morajo biti njihove povezave nazaj in nazaj simetrične. V možganskih sinapsah se to skoraj nikoli ne zgodi.
Sodobnejši algoritmi prilagajajo nekoliko drugačno strategijo z izvajanjem ločene povratne poti, ki nevronom pomaga najti napake na lokalni ravni. Čeprav je to bolj biološko izvedljivo, možgani nimajo ločene računalniške mreže, ki bi bila namenjena iskanju grešnih koz.
Ima pa nevrone s kompleksnimi strukturami, v nasprotju s homogenimi "kroglicami", ki se trenutno uporabljajo pri poglobljenem učenju.
Veje mreže
Znanstveniki črpajo navdih iz piramidalnih celic, ki napolnjujejo človeško skorjo.
"Večina teh nevronov je oblikovana kot drevesa, korenine" globoko v možganih in "veje" izhajajo na površje, "pravi Richards. "Pomembno je, da korenine dobijo en niz vhodov, veje pa se razlikujejo."
Zanimivo je, toda struktura nevronov se pogosto izkaže za "točno takšno, kot je potrebna" za učinkovito reševanje računske težave. Na primer vzemimo senzorično obdelavo: dna piramidnih nevronov so tam, kjer bi morali biti deležni senzoričnega vnosa, vrhovi pa so priročno nameščeni za prenos napak s pomočjo povratnih informacij.
Ali je lahko ta zapletena struktura evolucijska rešitev za spopadanje z napačnim signalom?
Znanstveniki so na podlagi predhodnih algoritmov ustvarili večplastno nevronsko mrežo. Toda namesto homogenih nevronov so ji dali nevrone v srednjih plasteh - zasedenih med vhodom in izhodom - podobne resničnim. Naučen iz ročno napisanih številk je algoritem deloval veliko bolje kot enoplastno omrežje, kljub odsotnosti klasične povratne širitve napake. Celične strukture lahko same prepoznajo napako. Nato je nevron v pravem trenutku združil oba vira informacij, da bi našel najboljšo rešitev.
Za to obstaja biološka osnova: nevroznanstveniki že dolgo vedo, da vhodne veje nevrona izvajajo lokalne izračune, ki jih je mogoče integrirati s povratnimi širjenimi signali iz izhodnih vej. Ne vemo pa, ali možgani resnično delujejo na tak način - zato je Richards nevroznanstvenikom naročil, da to ugotovijo.
Poleg tega to omrežje obravnava problem podobno kot tradicionalna metoda globokega učenja: uporablja večplastno strukturo za pridobivanje bolj abstraktnih idej o vsaki številki.
"To je značilnost globokega učenja," pojasnjujejo avtorji.
Globoko učljivi možgani
Brez dvoma bo v tej zgodbi več preobratov, ko računalničarji v algoritme AI vnašajo več bioloških podrobnosti. Richards in njegova ekipa gledajo na funkcijo napovedovanja od zgoraj navzdol, kjer signali z višjih ravni neposredno vplivajo na odzivnost nižjih ravni na vhod.
Povratne informacije z višjih slojev ne samo izboljšajo signalizacijo o napakah; Richards pravi, da lahko spodbudi tudi nevrone z nižjimi procesi, da v boljšem času delujejo boljše. Do zdaj mreža ni presegla drugih nebioloških globinskih učnih mrež. A vseeno je.
"Globoko učenje je imelo velik vpliv na AI, vendar je bil do zdaj njegov vpliv na nevroznanost omejen," pravijo avtorji študije. Zdaj bodo nevroznanstveniki opravičili, da bodo izvedli eksperimentalni test in ugotovili, ali struktura nevronov temelji na naravnem algoritmu globokega učenja. Morda se bo v naslednjih desetih letih začela obojestransko koristna izmenjava podatkov med nevroznanstveniki in raziskovalci umetne inteligence.
Ilya Khel