Na ameriški zahodni obali se najvrednejša svetovna podjetja trudijo, da bi bila umetna inteligenca pametnejša. Google in Facebook se hvalita s poskusi, ki uporabljajo milijarde fotografij in tisoče visoko zmogljivih procesorjev. Toda konec lanskega leta je projekt v vzhodnem Tennesseeju tiho presegel obseg katerega koli korporativnega laboratorija AI. In vodila ga je vlada ZDA.
Ameriški vladni superračunalnik razbija rekorde
V rekordnem projektu je sodeloval najmočnejši superračunalnik na svetu, Summit, v Nacionalnem laboratoriju Oak Ridge. Ta avtomobil je krono osvojil junija lani, naslov pa je vrnil ZDA pet let pozneje, ko je Kitajska na vrhu seznama. V sklopu projekta o podnebnih raziskavah je velikanski računalnik sprožil eksperiment strojnega učenja, ki je bil hitrejši kot kdaj koli prej.
Vrh, ki pokriva območje, enakovredno dvema teniškima igriščema, je v tem projektu uporabljalo več kot 27.000 zmogljivih GPU-jev. Svojo moč je uporabil za treniranje algoritmov globokega učenja, same tehnologije, ki temelji na napredni umetni inteligenci. Pri poglobljenem učenju algoritmi izvajajo vaje z milijardo milijardami operacij na sekundo, ki jih v superračunalniških krogih poznamo kot ekspanzijo.
"Globoko učenje še nikoli ni doseglo takšne ravni uspešnosti," pravi Prabhat, vodja raziskovalne skupine v Nacionalnem raziskovalnem centru za energijo v Nacionalnem laboratoriju Lawrence Berkeley. Njegova ekipa je sodelovala z raziskovalci iz sedeža Summita, nacionalnega laboratorija Oak Ridge.
Kot morda ugibate, se je usposabljanje AI najmočnejšega računalnika na svetu osredotočilo na enega največjih svetovnih izzivov - podnebne spremembe. Tehnična podjetja usposabljajo algoritme za prepoznavanje obrazov ali cestnih znakov; vladni znanstveniki so jih usposobili za prepoznavanje vremenskih vzorcev, kot so cikloni, iz klimatskih modelov, ki stisnejo stoletne napovedi Zemljine atmosfere v tri ure. (Ni pa jasno, koliko energije je projekt potreboval in koliko ogljika se je v tem procesu sprostilo v zrak).
Promocijski video:
Vrhunski eksperiment ima posledice za prihodnost umetne inteligence in klimatologije. Projekt prikazuje znanstveni potencial prilagajanja globokega učenja superračunalnikom, ki tradicionalno simulirajo fizične in kemične procese, kot so jedrske eksplozije, črne luknje ali novi materiali. Prav tako kaže, da lahko strojno učenje koristi več računalniške moči - če jo najdete - in v prihodnosti zagotovi napredek.
"Nismo vedeli, da je to mogoče storiti v tem obsegu, dokler tega nismo storili," pravi Rajat Monga, CTO pri Googlu. On in drugi Googlovi sodelavci so pri projektu pomagali s prilagajanjem odprtokodne programske opreme za strojno učenje TensorFlow podjetja za velikansko lestvico Summita.
Veliko dela na področju globljega učenja je bilo opravljenega v podatkovnih centrih internetnih podjetij, kjer strežniki sodelujejo pri težavah in jih ločujejo, ker so razmeroma ločeni, namesto da bi bili povezani v en velikanski računalnik. Superračunalniki, kot je Summit, imajo drugačno arhitekturo s specializiranimi hitrimi povezavami, ki na tisoče procesorjev povezujejo v en sam sistem, ki lahko deluje kot celota. Do nedavnega je bilo prilagajanja strojnega učenja delu s tovrstno strojno opremo razmeroma malo.
Monga pravi, da bo delo pri prilagajanju TensorFlow lestvici vrha podprlo tudi Googlova prizadevanja za širitev svojih notranjih sistemov umetne inteligence. V tem projektu so sodelovali tudi inženirji Nvidia, ki zagotavljajo, da več deset tisoč Nvidijinih GPU-jev v tem stroju deluje brez težav.
Iskanje načinov za večjo računalniško moč v algoritmih globokega učenja je bilo ključno za trenutni razvoj tehnologije. Ista tehnologija, ki jo Siri uporablja za prepoznavanje glasu in Waymo avtomobili za branje cestnih znakov, je postala uporabna leta 2012, potem ko so jo znanstveniki prilagodili za delovanje na Nvidia GPU-jih.
V analizi, objavljeni maja lani, so znanstveniki OpenAI, inštituta za raziskavo v San Franciscu, ki ga je ustanovil Elon Musk, ocenili, da se je količina računalniške moči v največjih javnih poskusih strojnega učenja od leta 2012 približno podvojila; to bi pomenilo 11-kratno povečanje v letu. Ta napredek je pomagal botru Alphabet premagati prvake v zahtevnih družabnih in video igrah, poleg tega pa je bistveno izboljšal natančnost Googlovega prevajalca.
Google in druga podjetja trenutno ustvarjajo nove vrste čipov z AI, da nadaljujejo ta trend. Google pravi, da lahko stroki s tisočimi čipi AI, ki so tesno razporejeni - podvojeni tenzorski procesorji ali TPU - lahko zagotovijo 100 petaflopov procesne moči, kar je desetino hitrosti, ki jo je dosegel Summit.
Prispevki vrha k podnebni znanosti kažejo, kako velikanski AI lahko izboljša naše razumevanje prihodnjih vremenskih razmer. Ko raziskovalci ustvarjajo stoletne vremenske napovedi, postane branje nastale napovedi izziv. Predstavljajte si, da imate YouTube film, ki se prikazuje že 100 let. V tem filmu ročno ne najdete vseh mačk in psov, «pravi Prabhat. Običajno se za avtomatizacijo tega procesa uporablja programska oprema, ki pa ni popolna. Rezultati srečanja na vrhu so pokazali, da lahko strojno učenje to naredi veliko bolje, kar naj bi pomagalo napovedati nevihte, kot so poplave.
Po besedah Michaela Pritcharda, profesorja kalifornijske univerze Irvine, je začetek poglobljenega učenja superračunalnikov razmeroma nova ideja, ki je nastala v primernem času za podnebne raziskovalce. Upočasnitev razvoja tradicionalnih procesorjev je povzročila, da so inženirji opremili superračunalnike z vse večjim številom grafičnih čipov, da bi bolj dosledno izboljševali delovanje. "Prišlo je do trenutka, ko ne morete več povečevati računalniške moči na običajen način," pravi Pritchard.
Ta premik je ustavil tradicionalno modeliranje in se je zato moral prilagoditi. Odpira tudi vrata za izkoriščanje moči globokega učenja, ki se seveda izpostavlja grafičnim čipom. Morda bomo dobili bolj jasno sliko o prihodnosti našega podnebja.
Ilya Khel