Največja lekcija, pridobljena iz 70 let raziskav AI, je, da so splošne metode, ki uporabljajo računanje, na koncu najučinkovitejše - in z veliko mejo. Končni razlog za to je Mooreov zakon. Ali bolje rečeno, njena posplošitev: nenehno, eksponentno znižanje stroškov računalniških procesorjev. To "grenko lekcijo" je delil Richard Sutton, kanadski računalničar. Nadalje - od prve osebe.
Zakaj raziskave umetne inteligence mirujejo že 70 let?
Večina raziskav AI je bila izvedena, kot da so izračuni, ki so na voljo agentu, vztrajni (in v tem primeru bi bila uporaba človeškega znanja eden od edinih načinov za izboljšanje učinkovitosti). Toda sčasoma - veliko več, kot je značilno za navaden raziskovalni projekt - neizogibno postane na voljo veliko več računalništva. V iskanju izboljšav, ki bi lahko kratkoročno pomagale, znanstveniki poskušajo čim bolj izkoristiti človeško znanje na tem področju, vendar je edino, kar je dolgoročno pomembno, vse večja uporaba računalništva. Ta dva vidika ne bi smela biti v nasprotju drug z drugim, v praksi pa se. Čas, porabljen za enega od njih, ni enak času, porabljenemu za drugega. Za takšen ali drugačen pristop je treba naložiti psihološke obveznosti. Pristop k poznavanju človeka ponavadi zaplete metode tako, da postanejo manj primerne za izkoriščanje splošnih metod, ki uporabljajo računanje.
Veliko je primerov, da so raziskovalci z AI z zamudo razumeli to grenko lekcijo. Poučno bo upoštevati nekaj najvidnejših primerov.
V računalniškem šahu so metode, ki so leta 1997 premagale svetovnega prvaka Kasparov, temeljile na množičnem, globokem iskanju. Takrat jih je večina razočarano gledala večina raziskovalcev računalniškega šaha, ki so uporabljali metode, ki temeljijo na človekovem razumevanju specifične strukture šaha. Ko se je enostavnejši, na iskanju temelječ pristop s specializirano strojno in programsko opremo izkazal za veliko učinkovitejšega, raziskovalci, ki temeljijo na človeškem razumevanju šaha, niso priznali poraza. Rekli so: Tokrat je lahko pristal na silo, vendar to ne bo postala splošna strategija in zagotovo ljudje ne igrajo šah tako. Ti znanstveniki so si želeli, da bi na osnovi človeških metod zmagali, in bili zelo razočarani, ko tega niso storili.
Promocijski video:
Podobna slika napredka pri raziskavah je bila opažena tudi pri računalniškem delu, le z zakasnitvijo nadaljnjih 20 let. Sprva so bili vloženi veliki napori, da bi se izognili iskanju s pomočjo človeškega znanja ali igranja, vendar so bila ta prizadevanja nepotrebna ali še slabša, ko smo iskanje učinkovito uporabljali v velikem obsegu. Pomembna je bila tudi uporaba učenja v procesu samostojnega igranja, da bi se naučili vrednostne funkcije (tako kot v mnogih drugih igrah in celo v šahu, samo učenje leta 1997 ni imelo velike vloge v programu, ki je prvič premagal svetovnega prvaka). Učiti se igrati s samim seboj, učenje kot celota je kot iskanje, ki omogoča uporabo ogromnih nizov izračunov. Iskanje in učenje sta dva najpomembnejša razreda tehnik, ki vključujeta ogromne količine računanja v raziskavah AI. V računalniku pojdiKot v računalniškem šahu so bili tudi začetni napori raziskovalcev usmerjeni v uporabo človekovega razumevanja (tako da je bilo iskanja manj), mnogo večji uspeh pa je bil dosežen šele mnogo kasneje z uporabo iskanja in učenja.
Na področju prepoznavanja govora je v 70. letih prejšnjega stoletja potekalo tekmovanje pod pokroviteljstvom DARPA. Udeleženci so predstavili različne metode, ki so izkoristile človeško znanje - znanje besed ali fonemov, človeški govorni trakt in tako naprej. Na drugi strani barikade so bile novejše metode, statistične narave in več računov, ki so temeljile na skritih Markovskih modelih (HMM). Ponovno so statistične metode premagale metode, ki temeljijo na znanju. To je privedlo do velikih sprememb v vseh obdelavah naravnega jezika, ki so jih skozi desetletja postopoma uvajali, dokler sčasoma statistika in računanje niso začele prevladovati na tem področju. Nedavni porast poglobljenega učenja prepoznavanja govora je najnovejši korak v tej dosledni smeri. Globoko učenje se še manj opira na človeško znanje in uporablja še več računanja, skupaj z usposabljanjem na ogromnih naborih vzorcev in ustvarja neverjetne sisteme prepoznavanja govora.
Richard Sutton, kanadski računalničar.
Tako kot v igrah so tudi znanstveniki vedno poskušali ustvariti sisteme, ki bodo delovali tako, kot so si zamislili v glavi - to znanje so poskušali vnesti v svoje sisteme - a vse skupaj se je izkazalo za izjemno neproduktivno, zato so znanstveniki samo izgubljali čas - zaradi Moorovega zakona - postajali so vse bolj obsežni izračuni in našli odlične aplikacije.
Podobna slika je bila na področju računalniškega vida. Prve metode so bile dojete kot iskanje določenih obrisov, posplošenih valjev ali z uporabo zmogljivosti SIFT (spreminjanje značilnosti, ki spreminja obseg). Toda danes je vse to vrglo v peč. Sodobne nevronske mreže globokega učenja uporabljajo samo koncept zamotnosti in določenih invariant in delujejo veliko bolje.
To je odlična lekcija.
Kamor koli pogledamo, povsod delamo iste napake. Če želite to videti in se z njim učinkovito spopasti, morate razumeti, zakaj so te napake tako privlačne. Naučiti se moramo grenkega nauka, ki gradi, kako mislimo, kako mislimo, da na dolgi rok ne bo delovalo. Grenka lekcija, ki temelji na zgodovinskih opazovanjih, kaže, da: 1) raziskovalci AI so pogosto poskušali vgraditi znanje v svoje agente; 2) je vedno pomagalo kratkoročno in prineslo znanstvenikom zadovoljstvo; 3) a dolgoročno se je vse ustavilo in oviralo nadaljnji napredek; 4) moteč napredek je neizogibno prišel z nasprotnim pristopom, ki temelji na izračunavanju lestvice z iskanjem in učenjem. Uspeh je imel grenak okus in ga pogosto niso povsem absorbirali.ker gre za uspeh računalništva in ne za uspeh pristopov, ki so usmerjeni v človeka.
Na tej grenki lekciji se moramo naučiti izjemno moč metod splošnega pomena, metod, ki se še naprej spreminjajo z rastjo računanja, tudi ko razpoložljivo računanje postane zelo veliko. Dva načina, ki na ta način poljubno obsegata, sta iskanje in učenje.
Druga stvar, ki se jo je treba naučiti iz te grenke lekcije, je, da je dejanska vsebina uma izjemno in po nepotrebnem zapletena; nehati bi morali poskušati najti preproste načine za smiselnost vsebine uma, podobno kot preprosti načini za razumevanje prostora, predmetov, več agentov ali simetrij. Vsi so del poljubno zapletenega zunanjega sveta. Ne bi smeli poskušati graditi na njih, ker je njihova kompleksnost neskončna; morali bi graditi na meta-metodah, ki lahko najdejo in zajamejo to poljubno zapletenost. Te metode lahko najdejo dobre približke, vendar bi morali iskanje iskati po naših metodah in ne pri nas. Potrebujemo agente AI, ki lahko odkrijejo na enak način kot mi, in ne vsebujejo tega, kar smo odkrili. Nadgradnja na naših odkritjih samo otežuje proces odkrivanja in iskanja.
Ilya Khel