Z razvojem nevronskih omrežij in tehnologij strojnega učenja se širi tudi obseg njihove uporabe. Če so se prej nevronske mreže uporabljale izključno za izvajanje kompleksnih matematičnih, medicinskih, fizikalnih, bioloških izračunov in napovedovanja, zdaj te tehnologije pridobivajo široko priljubljenost v bolj »dnevnem« okolju - na področju zabave. Če naredite le prve korake v tej smeri, so že sposobni pokazati neverjetne in včasih celo izjemne rezultate. Danes bomo analizirali nekaj ilustrativnih primerov.
Proces ponovnega obnavljanja videoposnetkov je tako zapleten in dolgotrajen, da morda nikoli nismo videli veliko mojstrovin svetovne klasike z novo, sodobno, jasno in sočno sliko. Vendar je svet poln pametnih oboževalcev in navdušencev, ki so dobro seznanjeni z novimi tehnologijami, zlasti nevronskimi omrežji in tehnologijami strojnega učenja, s katerimi lahko dosežete neverjetne rezultate tudi doma. Uporabnik YouTuba Stefan Rumen se je na primer s psevdonimom CaptRobau odločil pokazati nekatere sposobnosti nevronskih mrež pri obdelavi videoposnetkov stare znanstvene fantastike.
Njegovo prejšnje delo je Remako Mod, "HD remake" klasičnega in zelo priljubljenega japonskega RPG Final Fantasy VII. Za to je uporabil algoritem AI AI Gigapixel, s katerim je lahko sliko prvotne slike pomanjšal za 4-krat in jo pretvoril v ločljivost HD brez bistvenih sprememb originalne umetniške zasnove. Medtem ko čakate še kakšno desetletje do trenutka, ko japonski razvijalec in založnik računalniških iger Square Enix uradno objavi remaster morda enega najboljših delov te serije iger, lahko modus Stefana Rumena preizkusite sami, tako da ga naložite s te strani.
Mimogrede, v zadnjem času so tehnologije nevronskih omrežij za obnovo starih iger in njihovo približevanje ustreznejšemu in modernejšemu videzu brez spreminjanja splošnega prvotnega koncepta postale pravi trend med različnimi modderji. Na primer, ne tako dolgo nazaj smo govorili o tehnologiji ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), ki izvaja tehnologije skaliranja slik z 2-8-kratnim povečanjem kakovosti. Algoritem "napaja" prvotno sliko z nizko ločljivostjo, nato pa ne le poveča prvotno ločljivost slednje, ampak tudi izboljša kakovost slike, slika na realne podrobnosti in naredi teksture "bolj naravne".
Primerjava kakovosti teksture: na levi je originalna tekstura iz igre Morrowind, na desni - obdelana z nevronsko mrežo.
Lik iz Doom (levo - je, desno & postal).
Obdelava ozadja v Resident Evil 3.
Promocijski video:
Kljub temu, se je Stefan Rumen v intervalih med ponovnim obnavljanjem "Sedmega finala" odločil še za en projekt - uporabiti isto tehnologijo strojnega učenja, vendar tokrat za obdelavo okvirjev klasične znanstvenofantastične serije 90-ih. Rumen je za svoj poskus izbral Star Trek: Deep Space Nine.
Pomirjanje slike v TV-seriji se po zahtevnosti zelo razlikuje od spreminjanja vnaprej prikazane slike Final Fantasy VII, ugotavlja avtor, zato je končni rezultat, čeprav je v nizki ločljivosti videti opazno boljši od originalnih materialov, vendar je ta slika še vedno daleč od tistega, o katerem bi lahko ste sanjali, odkar so na trg prišli prvi Blu-ray predvajalniki. Občasno se na zaslonu pojavijo majhni "artefakti". Ampak, spet na splošno je vse videti več kot vredno. Toda na splošno se prepričajte sami.
Rumen je za ta projekt uporabil tudi algoritem AI Gigapixel, ki je bil usposobljen za urejanje slik na podlagi resničnih fotografij. Avtor ugotavlja, da je bila nova slika dobljena v 1080p in 4k, a ker Rumen nima televizorja ali monitorja z izvorno ločljivostjo 4K, ne more ustrezno oceniti 4K različice.
Na žalost ne morete gledati celotne serije v kakovosti Full HD. Postopek obdelave vsega izvirnega materiala bi trajal zelo dolgo, zato je Rumen za demonstracijo uporabil le ločene okvirje iz različnih serij. Po njegovih besedah se je tega projekta lotil le iz enega razloga - da bi pokazal, da je to res mogoče. Po njegovem mnenju se bo s to nalogo veliko bolje spopadla cela skupina strokovnjakov, ki delajo v velikem televizijskem podjetju in imajo na voljo primernejšo in zmogljivejšo računalniško opremo za takšno delo.
Uporaba nevronskih mrež za poenostavitev dela obdelave starih slik iz video iger in filmov niso edina področja, kjer lahko takšne tehnologije pokažejo svoj talent. V sodobnem svetu, kjer panoramske kamere, ki lahko proizvajajo 360 stopinj, in slušalke navidezne resničnosti pridobivajo na priljubljenosti, so razvijalci začeli aktivno raziskovati potencial panoramske fotografije.
Eno najnovejših dogodkov v tej smeri je nevronska mreža, ki lahko sliši panoramske statične slike. Napisali so ga strokovnjaki za strojno učenje z Massachusetts University, Columbia University in George Mason University.
Ustvarjen algoritem določi vrsto okolja in predmetov na fotografiji, nato pa izbere in razporedi zvoke iz uporabljene baze podatkov v skladu s prostorskim izračunom razdalje do njihovih virov na tej sliki. Zahvaljujoč temu panoramska slika pridobi realističen in prostoren zvok, ki vam omogoča, da predstavljeno sliko ocenite na povsem nov način.
Po mnenju razvijalcev tega nevronskega omrežja bo tehnologija morda zanimala razvijalce vsebin VR (filmov in iger). Slednjim v tem primeru ne bo treba ročno prekrivati vseh zvokov na panoramski sliki, nevronska mreža bo lahko vse to opravila sama.
Nikolaj Hizhnyak