S pomočjo tehnologije za pregledovanje možganske aktivnosti, umetne inteligence in sintetizatorja govora so znanstveniki z univerze Columbia (ZDA) ustvarili napravo, s katero lahko človeške misli prevedejo v artikulirani govor. Ugotovitve raziskave, objavljene v znanstvenih poročilih, predstavljajo pomemben korak pri izboljšanju vmesnikov možganov in računalnikov. V prihodnosti lahko takšne naprave uporabljajo ljudje, ki so zaradi poškodbe ali bolezni izgubili sposobnost govora.
Avtor študije, nevroznanstvenik Nima Mesgarani in njegovi sodelavci so se za razvoj naprave, ki združuje zmožnosti sintetizatorja govora in umetne inteligence, usmerili v najnovejši napredek tehnologij globokega strojnega učenja in sinteze govora. Rezultat njihovega dela je vokoder, ki temelji na umetni inteligenci in je sposoben precej natančno interpretirati možgansko aktivnost neposredno iz slušnega korteksa in jo nato prevesti v razumljiv govor. Avtorji dela ugotavljajo, da se govor v tem primeru izkaže za zelo računalniško podprt, vendar ljudje znajo besede prepoznati v večini primerov.
Po mnenju ustvarjalcev nova naprava, ki se uporablja za reprodukcijo nastalega govora, temelji na isti tehnologiji, ki jo uporabljajo digitalni pomočniki, kot so Alexa, Siri in Google Assistant.
Najprej so strokovnjaki usposobili vocoder za pravilno razlago človeških možganskih aktivnosti. Za to so znanstveniki k sodelovanju povabili pet prostovoljcev, ki so bili na zdravljenju epilepsije. Vsem petim so elektrode vsadile v slušno skorjo, da so prebrale elektroencefalogram.
Epileptične bolnike smo prosili, da poslušajo stavke, ki jih govorijo različni ljudje. Hkrati smo analizirali vzorce možganske aktivnosti bolnikov. Vokoder je bil usposobljen za pridobljene nevronske modele, «pojasnjuje Mesgarani.
Bolnike so prosili, naj poslušajo posnetke, v katerih so igralci prebrali zaporedja številk od 0 do 9. Hkrati so znanstveniki posneli signale iz možganov in jih nato posredovali skozi vocoder, katerega signali so za izboljšanje jasnosti popravljali nevronsko mrežo, ki je analizirala zvoke samega vokoderja, ki je sprožil zvoke kot odgovor na te signale. Posledično je bilo mogoče slišati robotski glas, ki ponavlja zaporedje izgovorjenih številk. Za oceno rezultatov so znanstveniki povabili 11 ljudi z odličnim sluhom.
Izkazalo se je, da ljudje lahko prepoznajo besede približno 75% časa, kar je zelo nadpovprečno v primerjavi s prejšnjimi poskusi. Občutljiv vocoder in močne nevronske mreže so ustvarile zvoke, ki so jih pacienti poslušali z neverjetno natančnostjo, «komentira Mesgarani.
Promocijski video:
Mesgaranijeva ekipa bo v prihodnosti nevronsko mrežo naučila izgovarjati bolj zapletene besede, stavke in celo cele stavke. Po tem želijo razviti vsadek, ki lahko človekove misli prevede v poln govor.
"Če na primer lastnik vsadka misli:" Potrebujem kozarec vode, "naš sistem prebere možganske signale in jih prevede v govor. Vsakdo, ki je zaradi poškodbe ali bolezni izgubil sposobnost govora, bo imel novo priložnost, da komunicira s svetom okoli sebe, «dodaja Mesgarani.
Nikolaj Hizhnyak