Zunaj okna je 2022. Z avtomobilom, kot ponavadi, po mestu vozite avto. Avto se približa stop-znak, ki ga je prehiteval že večkrat, a tokrat se pred njim ne ustavi. Za vas je ta znak postanka kot drugi. Toda za avto je povsem drugače. Nekaj minut prej je napadalec brez opozorila nikogar prilepil majhno ploščo na znak, ki je človeškemu očesu neviden, a katere tehnologija ne more opaziti. Se pravi, drobna nalepka na znaku je znak za zaustavitev spremenila v nekaj povsem drugega kot znak za zaustavitev.
Vse to se morda zdi neverjetno. A vse večje področje raziskav dokazuje, da se umetna inteligenca lahko zaplete v kaj takega, če vidi kakšno drobno podrobnost, ki je človeku popolnoma nevidna. Ko se algoritmi strojnega učenja vedno pogosteje pojavljajo na naših cestah, naših financah, zdravstvenem sistemu, računalniški znanstveniki upajo, da bodo izvedeli več o tem, kako jih zaščititi pred takšnimi napadi - preden jih nekdo resnično poskuša prevarati.
"V strojnem učenju in AI skupnosti je vedno večja skrb, še posebej, ker se ti algoritmi vedno bolj uporabljajo," pravi Daniel Lode, docent na oddelku za računalništvo in informacijske vede na Univerzi v Oregonu. »Če se neželena pošta pretaka ali blokira več e-poštnih sporočil, to še ni konec sveta. Če pa se zanašate na sistem vida v samovozečem avtomobilu, ki avtomobilu sporoča, kako naj vozi, ne da bi se pri tem zaletel v nič, so vložki precej večji."
Ne glede na to, ali se stroj pokvari ali se pokvari, bodo trpeli algoritmi strojnega učenja, ki "vidijo" svet. In tako do avtomobila je panda videti gibon, šolski avtobus pa je videti kot noj.
V enem poskusu so znanstveniki iz Francije in Švice pokazali, kako lahko takšne motnje povzročijo, da bi računalnik zmotil veverico za sivo lisico in lonec za kavo za papigo.
Kako je to mogoče? Pomislite, kako se vaš otrok uči prepoznati številke. Ob pogledu na simbole drug za drugim otrok začne opažati nekatere skupne značilnosti: nekatere so višje in vitkejše, šestice in devetke vsebujejo eno veliko zanko, osmice pa dve in tako naprej. Ko vidijo dovolj primerov, lahko hitro prepoznajo nove številke kot štirice, osmice ali trojčke - tudi če zaradi pisave ali rokopisa ne izgledajo tako kot druge četvorke, osmice ali trojčke, ki jih imajo kdajkoli prej. videl že prej.
Algoritmi za strojno učenje se skozi nekoliko podoben postopek naučijo brati svet. Znanstveniki napajajo računalnik na stotine ali tisoče (običajno označenih) primerov, kaj bi radi našli v računalniku. Ko stroj preseje podatke - to je številka, to ni, to je številka, to ni - začne opažati lastnosti, ki vodijo do odziva. Kmalu bo morda pogledala sliko in rekla: "To je pet!" z visoko natančnostjo.
Promocijski video:
Tako se lahko tako človeški otroci kot računalniki naučijo prepoznati ogromno paleto predmetov, od številk do mačk, od čolnov do posameznih človeških obrazov.
Toda v nasprotju s človeškim otrokom računalnik ni pozoren na podrobnosti na visoki ravni - kot kosmate ušesa mačk ali izrazito kotno obliko štirih. Ne vidi celotne slike.
Namesto tega pogleda posamezne slikovne pike v sliki - in najhitreje loči predmete. Če ima velika večina enot črn pik na določeni točki in nekaj belih slikovnih pik na drugih točkah, se bo stroj zelo hitro naučil določiti z nekaj pikami.
Zdaj pa nazaj k znaku stop. Z neopaznim popravljanjem slikovnih pik na sliki - strokovnjaki to motenje imenujejo "vznemirjenja" - računalnik lahko zavedete, da razmišlja, da v resnici ni znaka zaustavitve.
Podobne študije laboratorija za evolucijsko umetno inteligenco na univerzi Wyoming in univerzi Cornell so ustvarile kar nekaj optičnih iluzij za umetno inteligenco. Te psihedelične podobe abstraktnih vzorcev in barv človeku niso podobne, jih pa računalnik hitro prepozna kot kače ali puške. To kaže, kako lahko AI pogleda na nekaj in ne vidi predmeta ali namesto tega vidi nekaj drugega.
Ta šibkost je pogosta pri vseh vrstah algoritmov strojnega učenja. "Pričakovali bi, da ima vsak algoritem luknjo v oklepu," pravi Jevgenij Vorobičik, docent za računalništvo in računalništvo na univerzi Vanderbilt. "Živimo v zelo zapletenem večdimenzionalnem svetu in algoritmi po svoji naravi vplivajo na le majhen del tega."
Vrabec je "izjemno prepričan", da bo nekdo, če te ranljivosti obstajajo, ugotovil, kako jih izkoristiti. Verjetno je to že storil nekdo.
Razmislite o neželenih filtrih, avtomatiziranih programih, ki filtrirajo morebitne nerodne e-poštne sporočil. Pošiljatelji neželene pošte lahko skušajo zaobiti to oviro tako, da spremenijo črkovanje besed (namesto Viagra - vi @ gra) ali dodajo seznam "dobrih besed", ki jih običajno najdemo v običajnih črkah: kot "aha", "jaz", "vesel". Medtem lahko pošiljatelji neželene pošte poskušajo odstraniti besede, ki se pogosto pojavljajo v neželeni vsebini, na primer "mobilni" ali "zmaga".
Kje lahko prevaranti pridejo nekega dne? Samovozeči avtomobil, ki ga prevari nalepka stop stop, je klasičen scenarij, ki so ga izmislili strokovnjaki na tem področju. Dodatni podatki lahko pomagajo pornografiji, da zdrsne skozi varne filtre. Drugi lahko poskusijo povečati število pregledov. Hekerji lahko prilagodijo kodo zlonamerne programske opreme, da se izognejo kazenskemu pregonu.
Napadalci lahko ugotovijo, kako ustvariti manjkajoče podatke, če dobijo kopijo algoritma strojnega učenja, ki ga želijo nagajati. Toda ni treba, da se prebijete skozi algoritem. Enostavno ga lahko preprosto razbijete tako, da nanj vržete nekoliko drugačne različice e-poštnih sporočil ali slik. Sčasoma bi ga lahko uporabili celo za povsem nov model, ki ve, kaj iščejo dobri fantje in kakšne podatke, da bi jih zavedli.
"Ljudje manipulirajo s sistemi strojnega učenja že od prve predstavitve," pravi Patrick McDaniel, profesor računalništva in inženirstva na Univerzi v Pensilvaniji. "Če ljudje uporabljajo te metode, morda sploh ne vemo o tem."
Te metode lahko uporabljajo ne le prevaranti - ljudje se lahko skrijejo pred rentgenskimi očmi sodobnih tehnologij.
"Če ste neke vrste politični disident v represivnem režimu in želite voditi dogodke brez vednosti obveščevalnih agencij, se boste morda morali izogniti samodejnim metodam opazovanja, ki temeljijo na strojnem učenju," pravi Lode.
V enem projektu, objavljenem oktobra, so raziskovalci z univerze Carnegie Mellon ustvarili par očal, ki lahko subtilno zavedejo sistem prepoznavanja obraza, zaradi česar je računalnik zmotil igralko Reese Witherspoon za Russela Croweja. Zdi se smešno, vendar bi takšna tehnologija morda prišla v poštev vsem, ki se želijo izogniti cenzuri tistih, ki so na oblasti.
Kaj storiti z vsem tem? "Edini način, da se temu popolnoma izognemo, je ustvariti popoln model, ki bo vedno pravilen," pravi Lode. Tudi če bi lahko ustvarili umetno inteligenco, ki na vsak način presega ljudi, lahko svet še vedno zdrsne prašiča na nepričakovanem mestu.
Algoritmi strojnega učenja se običajno presojajo po njihovi natančnosti. Program, ki 99% časa prepozna stole, bo očitno boljši od tistega, ki prepozna 6 stolov od 10. Toda nekateri strokovnjaki predlagajo drug način za oceno sposobnosti algoritma za obvladovanje napada: težji, tem boljši.
Druga rešitev bi lahko bila, da bi strokovnjaki lahko določili tempo programov. Ustvarite lastne primere napadov v laboratoriju na podlagi zmogljivosti kriminalcev po vašem mnenju in jih nato pokažite algoritmu strojnega učenja. Tako lahko sčasoma postanemo bolj odporni - seveda pod pogojem, da so testni napadi takšni, ki jih bomo preizkusili v resničnem svetu.
»Sistemi strojnega učenja so orodje za razmišljanje. Moramo biti inteligentni in racionalni glede tega, kaj jim dajemo in kaj nam govorijo, "je dejal McDaniel. "Ne bi jih smeli obravnavati kot popolne izraze resnice."
ILYA KHEL
