Googlova oddelek za umetno inteligenco je napovedal oblikovanje nove metode za treniranje nevronskih mrež, ki bo kombinirala uporabo naprednih algoritmov in starih video iger. Stare video igre Atari se uporabljajo kot učno okolje.
Razvijalci DeepMind (spomnimo se, da so ti ljudje ustvarili nevronsko mrežo AlphaGo, ki je že večkrat premagala najboljše igralce v logični igri go) verjamejo, da se stroji lahko učijo tako kot ljudje. S pomočjo sistema za usposabljanje DMLab-30, ki temelji na strežnikih Quake III in arkadnih igrah Atari (uporabljenih je 57 različnih iger), so inženirji razvili nov algoritem strojnega učenja IMPALA (Importance Weighted Actor-Learner Architectures). Posameznim delom omogoča, da se naučijo opravljati več nalog hkrati in si med seboj izmenjujejo znanje.
Novi sistem je v mnogih pogledih temeljil na prejšnjem arhitekturnem sistemu asinhronih igralcev-kritičnih agentov (A3C), v katerem posamezni agenti raziskujejo okolje, nato pa se postopek ustavi in si izmenjujejo znanje z osrednjo komponento, "študentom". Kar zadeva IMPALA, ima morda več agentov, sam proces učenja pa poteka na nekoliko drugačen način. V njej agenti naenkrat pošljejo informacije dvema "študentoma", ki si medsebojno izmenjujeta tudi podatke. Poleg tega, če v A3C izračun naklona funkcije izgube (z drugimi besedami, neskladje med predvidenimi in pridobljenimi vrednostmi parametrov) opravijo sami agenti, ki podatke pošljejo v osrednje jedro, potem v sistemu IMPALA to nalogo opravijo "študentje".
Primer osebe, ki se igra skozi igro:
Takole IMPALA sistem obravnava isto nalogo:
Eden glavnih izzivov pri razvoju AI je čas in potreba po visoki računalniški moči. Tudi kadar so samostojni, stroji potrebujejo pravila, ki jim lahko sledijo v lastnih poskusih in iskanju načinov za reševanje težav. Ker ne moremo samo sestaviti robotov in jim omogočiti učenja, razvijalci uporabljajo simulacije in tehnike globokega učenja.
Da bi se sodobne nevronske mreže lahko nekaj naučile, morajo obdelati ogromno količino informacij, v tem primeru več milijard okvirjev. In hitreje ko to počnejo, manj časa je potrebnega za učenje.
Promocijski video:
DeepMind z dovolj procesorjev pravi, da IMPALA doseže 250.000 sličic na sekundo ali 21 milijard sličic na dan. To je absolutni zapis za tovrstne naloge, poroča The Next Web. Razvijalci sami komentirajo, da se njihov sistem AI bolje spopada z nalogo kot podobni stroji in ljudje.
V prihodnosti bomo podobne algoritme AI lahko uporabili v robotiki. Z optimizacijo sistemov strojnega učenja se bodo roboti hitreje prilagodili svojemu okolju in delovali bolj učinkovito.
Nikolaj Hizhnyak