Pred kratkim so nevronske mreže presenetile s svojimi spretnostmi - ali bi lahko pred desetimi leti verjeli, da lahko računalnik "animira" portrete Dostojevskega in Marilyn Monroe? Pripravite se na presenečenje, saj so raziskovalci na MIT ustvarili nevronsko mrežo Speech2Face, ki je sposobna risati portrete ljudi zgolj s poslušanjem njihovih glasov. Tehnologija še zdaleč ni idealna, vendar je njena sposobnost določitve spola, narodnosti in starosti človeka impresivna.
Za treniranje nevronske mreže so uporabili komplet AVSpeech z milijonom kratkih videoposnetkov z več tisoč govornimi ljudmi. Skladbe z videom in zvokom so ločene, tako da je sistem lahko preučil vsako vrsto gradiva v čim več podrobnostih. Na prvi stopnji dela je algoritem VGG-Face preučil video fragmente in ustvaril portrete ljudi na njih s polnimi in nevtralnimi izrazi obraza. Drugi del algoritma je preučeval spektrogram glasu in na nastale portrete vnesel dodatne spremembe - na podlagi tega smo dobili približen portret vsake osebe, ki je govorila.
Nevronska mreža za ustvarjanje portretov na glasu je že resničnost
Če primerjate obraz osebe z videoposnetkom in možnostjo, ki jo predlaga algoritem, lahko najdete veliko razlik. Vendar raziskovalci zagotavljajo, da sprva niso želeli ustvariti najbolj podobnega portreta človeka - številni dejavniki vplivajo na ton in intonacijo človeškega glasu, tako da nikakor ne bi dobili idealnega rezultata. Toda nevronska mreža odlično opravi tisto, kar je pomembno za raziskovalce, in sicer natančno določitev spola, narodnosti in starosti.
Avtorji dela so zapisali, da je trenutno algoritem šibek pri določanju starosti, vendar lahko natančnost izboljšajo. Ugotovljeno je bilo tudi, da algoritem boljše poustvari evropske in azijske obraze, vendar je to le posledica dejstva, da so na video treningih imeli neenako število obrazov različnih narodnosti.
Promocijski video:
Zakaj potrebujete nevronsko mrežo?
Kako je lahko ta tehnologija v prihodnosti uporabna? Lahko pa se s pomočjo tega nekega dne ustvari storitev, kjer se samodejno ustvari uporabnikov virtualni avatar, ki temelji na njegovem glasu. Nova študija ima tudi velike znanstvene koristi - s preučevanjem podatkov lahko znanstveniki ugotovijo povezavo med videzom človeka in njegovim glasom. Na spletnem mestu projekta lahko poslušate glasove in si ogledate portrete, ki so jih poustvarili na njihovi podlagi.
Ramis Ganiev