Pred nekaj dnevi je portal za tisk bioRxiv.org objavil delo ruskih raziskovalcev z Moskovskega inštituta za fiziko in tehnologijo ter podjetij Neurobotics in Neuroassistive Technologies, ki se ukvarjajo z ustvarjanjem nevroračunalniških vmesnikov. V prispevku trdijo, da so znanstvenikom in razvijalcem v realnem času uspeli naučiti algoritem za rekonstrukcijo videa, ki si ga je ogledala oseba z uporabo EEG signalov. Sliši se res kul in zanimivo - skoraj kot branje uma. Pravzaprav vse seveda ni tako preprosto: računalniki se niso naučili brati misli. Skratka, računalnik se je s snemanjem EEG naučil določiti, katero sliko iz petih različnih prej znanih razredov je predmet videl. O tem, kako je bil eksperiment zgrajen, katere naloge so si zadali znanstveniki in zakaj branje uma ne bo mogoče uresničiti v bližnji prihodnosti, povemo na našem blogu.
Na splošno se ideja o branju možganskega električnega signala in dešifriranju, tako da vidite, kaj človek razmišlja v določenem trenutku, glede na tempo trenutnega tehnološkega napredka, ne zdi tako težka. Tu je signal in tukaj je, kaj pomeni ta signal: dodajte dva in dva, usposobite klasifikator in dobite rezultat, ki ga potrebujemo.
Rezultat je, kaj bi futuristi in nevedni ljudje imenovali "branje uma". In zdi se, da bi se takšna tehnologija lahko znašla v različnih aplikacijah: od popolnih nevroračunalniških vmesnikov, ki omogočajo nadzor pametnih protez, do oblikovanja sistema, ki vam bo končno povedal, kaj vaša mačka tam razmišlja.
V resnici seveda vse ni tako preprosto in ideja o ustvarjanju takega algoritma se skoraj takoj razbije na glavno oviro: ukvarjati se moramo z možgani. Možgani so zelo zapletena stvar: imajo več kot 80 milijard nevronov, povezav med njimi pa je nekaj tisočkrat več.
Tudi laičnim delavcem je jasno: to je preveč, da bi razumeli, za kaj je odgovorna vsaka celica in njihov agregat. Znanstveniki še niso razvozlali človeškega veznika - četudi to poskušajo narediti z relativno uspešnim uspehom.
Pojavi se logično vprašanje: ali je sploh treba razumeti funkcije vsakega nevrona, da natančno predstavljamo, kaj se dogaja v možganih? Na primer res ni dovolj funkcionalnih zemljevidov?
Odgovor na to vprašanje bi moral biti v resnici "da", vendar tudi tukaj ni tako preprosto. Če bi se človeštvo opiralo na dekodiranje konekoma kot edinega ključa za odklepanje skrivnosti možganov, bi bili danes zelo blizu. Vendar vemo nekaj o tem, kako delujejo naši možgani in seveda ga lahko uspešno uporabimo.
Promocijski video:
Eden najsvetlejših in najočitnejših primerov uporabe znanja, ki so ga znanstveniki nabrali o delu možganov, so seveda nevrointerface. Na splošno velja, da danes res obstajajo tehnologije, ki omogočajo branje možganske aktivnosti in njihovo uporabo za nadzor na primer kazalca računalniške miške ali celo gibanja proteze.
Obstajata dva načina za učinkovito delovanje nevronskega vmesnika. Prva metoda izzove potenciale: pogledamo krivuljo električne aktivnosti določenih delov možganov in na njej izberemo tiste spremembe v signalu, ki se, kot vemo zagotovo, pojavijo v določenem trenutku po predstavitvi dražljaja.
Drugi način je, da se sploh ne zanašamo na stimulacijo, ampak da uporabimo domišljijo osebe za izdelavo berljivega električnega signala. Na primer, od osebe se lahko zahteva, da si predstavlja, kako premika nogo ali roko.
Obe metodi imata pomembne pomanjkljivosti. Prvo ovira dejstvo, da nam število zanesljivo izzvanih potencialov ni tako veliko: njihovo število ne more natančno pokriti vseh možnih dejanj, ki jih izvaja oseba. Pomanjkljivost drugega pa je, da je za dosego vsaj nekaj učinka potrebno dolgo usposabljanje.
Avtorji predtiska so se odločili za združitev obeh pristopov za ustvarjanje nevroračunalniških vmesnikov, pri čemer so upravičeno verjeli, da bi to rešili obe metodi pred pomembnimi omejitvami in omogočili razvoj nove in najučinkovitejše metode za delo z nevrointerface.
Predvidevali smo tudi, da bo ta metoda zaprta (zaprta zanka), torej da bo rezultat, pridobljen z njeno pomočjo, vplival na delovanje algoritma. O tem pa več.
Na samem začetku algoritem razdeli vse slike na ločene sestavne znake, razporejene v vektorskem prostoru, s pomočjo katerih jih je mogoče nato povezati z določenimi možganskimi signali, posnetimi z EEG.
Na tej začetni stopnji se uporablja binarni klasifikator - grobo rečeno, sam "dva in dva": s precej čistim signalom (posnetek EEG je bil očiščen motornih artefaktov), lahko izberete enega ali drugega z natančnostjo, višjo od naključnega zadetka.
V svojih poskusih so znanstveniki uporabili videoposnetke s predmeti petih razredov: slike ljudi, slapovi, abstraktne geometrijske oblike, ekstremni športi in avtomobili Goldberg. Po eni strani se takšen komplet zdi čuden, po drugi pa se zdi, da se vsi ti predmeti med seboj zelo razlikujejo. Ali je med človeškimi obrazi in abstraktnimi geometrijskimi oblikami kaj skupnega?
Medtem, glede na binarni klasifikator, abstraktne številke in človeški obrazi med seboj ne ločijo: rezultati devetih od 17 udeležencev študije kažejo, da nevronski vmesnik očitno ni ločil med njimi. Toda Goldbergovi stroji in isti obrazi se z vidika možganov, nasprotno, med seboj dobro razlikujejo.
Rezultati razvrstitve. A - abstraktne oblike, W - slapovi, HF - človeški obrazi, GM - Goldberg avtomobili, E - ekstremni športi.
Na prvi pogled ni povsem jasno, zakaj se to dogaja: prej, da se isti stroji in geometrijske oblike ne ločijo drug od drugega. Vse postane nekoliko bolj jasno, če pogledate primer okvirjev iz uporabljenih videoposnetkov.
Vzorčne slike iz petih razredov.
Najverjetneje (seveda lahko domnevamo le tukaj) je uspešnost klasifikatorja odvisna od tega, koliko se slike, uporabljene v obeh razredih, med seboj razlikujejo v nekaterih površnih, osnovnih lastnostih - najprej v barvi. To je dobro povezano tudi z dejstvom, da je dimenzija latentnega prostora v avtoenkoderju 10.
Na splošno je za razvrščanje slik petih razredov dovolj pet dimenzij, v tem primeru pa bo to storjeno največ z barvnim histogramom - kar pomeni, da se dimenzija 10 ne bo preveč izboljšala in bo razjasnila rezultat.
Ni zelo jasno, zakaj avtorji niso uporabili linearnega klasifikatorja za pet razredov hkrati namesto desetih binarnih klasifikatorjev: najverjetneje bi bilo bolje.
Nato sledi faza rekonstrukcije nastale slike. Dejstvo, da se razmaže, je razumljivo - točka je v isti dimenziji latentnega prostora. Toda tu se dve stvari zmedeta.
Prva je ta, da so originalne in rekonstruirane slike med seboj zelo podobne. Tu seveda nočem nikogar vznemirjati (tudi sebe - vsi smo za napredek), vendar to ni posledica dejstva, da je signal tako dobro posnet in dekodiran (in celo v realnem času!), Ampak zaradi dejstva, da algoritem obnavlja natanko slike, ki jih je že imel.
Poleg tega to ne deluje vedno tako dobro, kot bi si želeli: če si na primer pogledate video sistem, boste opazili, da v videu s jokajočim moškim nevronski vmesnik iz nekega razloga vidi žensko. To je zato, ker algoritem ne rekonstruira slike, temveč objekte določenega razreda: četudi to stori dovolj učinkovito, nič ne prepreči algoritmu, da bi videl čoln v podobi motocikla - preprosto zato, ker spadajo v isti razred.
Zato je tisto, kar se pri obnovi pojavi na zaslonu, pogosto le povprečna slika vseh uporabljenih predmetov razreda.
Kar zadeva smiselnost uporabe zaprtega sistema, potem z njim ni vse zelo jasno: ko izvaja nalogo, človek opazi tako snemanje EEG signalov kot sliko, ki mu postopoma izhaja iz glave. Ali to dejansko pomaga, je težko reči - avtorji niso primerjali zmogljivosti vmesnika z in brez ojačitve. Toda na prvi pogled se zdi, da v resnici ne. Če kaj pomaga, resnično želim vedeti, kako.
Na splošno lahko varno sklepamo, da se računalniki niso naučili brati misli. Niso se niti naučili, kako poustvariti video. Vse, kar so se naučili, je na podlagi dela znanstvenikov razvrstiti predmete, ki so jih videli, v pet razredov na podlagi nekaterih osnovnih meril. So računalniki že prej to zmogli? Seveda bi lahko. Ali so tukaj možgani? Seveda obstaja: toda možgani vidijo, ne možgani, ki razumejo, kaj točno je videl.
Elizaveta Ivtušek