Izdelava algoritmov za delo s slikami je bila vedno precej težka, a obetavna naloga. Ko sem leta 1999 še pisal diplomski projekt, je bila tema prepoznavanja vzorcev zelo pomembna v sistemih za samodejno krmiljenje in upravljanje.
To lahko storijo danes. Indijski razvijalci so predstavili sistem, ki lahko ustvari kratke videoposnetke iz zamegljenih slik. Algoritem deluje na podlagi konvolucijskih in ponavljajočih se nevronskih mrež in vam omogoča, da artefakte gibanja v slikah spremenite v kratek (do deset sličic) video.
Več podrobnosti …
Ko gledate zamegljeno sliko, lahko človek miselno dokonča sliko dogajanja. Primer fotografije ptice z mehkimi krili na primer kaže, da je zamegljenost slike posledica artefaktov v gibanju kril med pridobitvijo. Za sisteme računalniškega vida pa je ta naloga težja in večina znanih metod je namenjena le odstranjevanju artefaktov gibanja in glajenju okvirjev.
Znanstveniki z indijskega tehnološkega inštituta, ki ga vodi AN Rajagopalan, so predlagali, da bi lahko za ustvarjanje celotnega kratkega videoposnetka uporabili eno samo zamegljeno sliko: torej povrnili prvotno gibanje iz artefaktov na sliki. Da bi to naredili, so razvili algoritem, ki temelji na konvolucijskih nevronskih mrežah, ki se aktivno uporabljajo za naloge, povezane s samodejnim prepoznavanjem slike, pa tudi s ponavljajočimi se nevronskimi omrežji.
Model je usposobljen na velikem številu videoposnetkov, ki so razdeljeni v okvirje. Po tem nevronska mreža išče takšen okvir, artefakte, na katerih se najbolj ujemajo z artefakti okvirja za učni vzorec. Po tem dekoder "obnovi" artefakte vzorčnega okvira v gibanje, posnete na video. Tako model shranjuje podatke o možnih obnovljenih gibanjih iz vsakega zamegljenega okvira, ki je na voljo v vzorcu treninga.
Promocijski video:
Kot rezultat dela nevronska mreža ustvari video, rekonstruiran iz zamegljene slike, sestavljen iz desetih sličic. Razvit algoritem bo po mnenju ustvarjalcev lahko v prihodnosti pomagal izboljšati ne samo obnovo zamegljenih slik, temveč tudi same video posnetke.
Odstranjevanje artefaktov gibanja v posameznih okvirih lahko izboljša tudi pretakanje videoposnetkov. Zaenkrat se v ta namen uporabljajo predvsem algoritmi za prilagajanje bitrate glede na hitrost videa in njegovo pufranje.
Elizaveta Ivtušek