Cerebras Systems, mlado podjetje z umetno inteligenco, je pripravljeno svetu pokazati Cerebras WSE (Cerebras Wafer Scale Engine) - največji, najzmogljivejši in najpametnejši polprevodniški čip v zgodovini.
Cerebras WSE ima 1,2 bilijona tranzistorjev, osnovna elektronska stikala, ki so gradniki silicijevih čipov. Za primerjavo: prvi Intelov procesor 4004, ki je bil izdan leta 1971, je imel 2.300 tranzistorjev, najnovejši procesor Advanced Micro Devices pa 32 milijard tranzistorjev. Vendar pa vprašanje sploh ni v številu tranzistorjev.
Večina čipov na svetu je pravzaprav nabor čipov, ustvarjen na podlagi 12-palčne silikonske rezine - proizvajajo jih v posebnih tovarnah v ogromnih serijah. Toda čip Cerebras Systems je 400.000 jeder, povezanih na eni plošči. Priključki so zasnovani tako, da delujejo pri visokih hitrostih, zato trilijon tranzistorjev deluje skupaj. A to še ni vse.
Do danes je največji čip na svetu ustvaril Samsung - njegova struktura je zgrajena na 2 bilijonih tranzistorjev. Vendar je čip Samsung samo ogromna spominska kartica, čip Cerebras pa je najbolj zapleteno nevronsko omrežje, posebej ustvarjeno za usposabljanje umetne inteligence. Čip Cerebras se ponaša s 400.000 jedri v 42.225 kvadratnih milimetrih. To je 56,7x večje od največjega GPU Nvidia s samo 21,1 milijarde tranzistorjev.
Druga značilnost Cerebras WSE je, da je čip zasnovan tako, da je usmerjen okoli okvarjenih območij.
Med izdelavo čipov ni mogoče izpopolniti celotne silikonske rezine, zato postopek izdelave ustvarja območja, ki so neuporabna. Nvidia, Intel in drugi izdelovalci čipov težavo rešijo preprosto: v proizvodne rezine vklesajo »prave« čipe in preostanek vržejo v stran. Vendar tega ni mogoče storiti, če je vsak čip silikonske rezine del skupnega vezja. Zato so morale Cerebre zgraditi odvečna vezja, da bi v primeru okvare ali izgorelosti enega od njih preostali prevzeli njegove funkcije. To je pravzaprav čip Cerebras miniaturni internet z lastnimi strežniki in delovnimi postajami. In vse te postaje so zasnovane tako, da služijo eni umetni inteligenci.
Podjetja, ki razvijajo svoj AI, so danes glavni porabniki čip tehnologije, ki kupujejo dele v ogromnih količinah. In velikost uporabljenih žetonov je v procesu usposabljanja AI zelo pomembna.
Promocijski video:
Google, Facebook, OpenAI, Tencent, Baidu in mnogi drugi trdijo, da je temeljna omejitev sodobnega AI ta, da trenira modele predolgo. Na primer, superračunalnik Nvidia, ki ga sestavlja desetine najsodobnejših GPU-jev, porabi nekaj tednov, da izčrpa kodo - to je učenje nevtronske mreže.
Rešitev težave bi bila v povečanju števila čipov v računalniku, vendar, ko je sestavljenih več kot osem čipov, delovanje računalnika ne raste več, ampak se zmanjšuje, saj se med izmenjavo informacij nabirajo napake.
Razvijalci svoj projekt opisujejo na naslednji način: „Najtežji del AI je gibanje podatkov. Usposabljanje nevronske mreže zahteva, da se v določenem času vzporedno izvede več tisoč operacij, čipi pa morajo ves čas komunicirati, ko izvajajo te vzporedne operacije. Toda računalniki z več IC-ji se pokvarijo in poskušajo prenašati podatke med IC-ji prek počasnih žic, ki jih povezujejo skupaj na PCB. Potrebovali ste nekaj, kar lahko premika podatke s hitrostjo samega čipa. Rešitev je bila vzeti največjo ploščo, ki jo najdete, in iz nje izrezati največji čip."
Pomnilnik je ključna sestavina vsake računalniške arhitekture. Pomnilnik bližje računskim enotam omogoča hitrejše računanje, nižjo zamudo in boljšo energijsko učinkovitost pri premikanju podatkov. Vendar je velikost matrice omejena in večina pomnilnika v računalniku je zunaj matrice. Cerebras Systems je to težavo odpravil tako, da je vsakemu jedru omogočil dostop do 18 gigabajtov notranjega pomnilnika. Kot rezultat, ima Cerebras Wafer Scale Engine 3.000-krat več pomnilnika na krovu kot najnaprednejši grafični procesor, hkrati pa zagotavlja 10.000-krat večjo pasovno širino.
Prvi vzorci novega čipa bodo naprodaj v septembru, medtem ko je Cerebras Systems s kršenjem vseh obstoječih pravil računalniške industrije kršil tudi načelo ločevanja proizvodnje računalniških enot in čipov. Ceferjev motor za vafelje Cerebras bo tržen kot enotna, podjetniško zasnovana naprava, integrirana v zapleteno vodno hladilno omrežje, saj čip ustvarja izjemno toploto, na tako majhnem območju porabi 15 kilovatov.
Ustanovitelj in izvršni direktor podjetja Cerebras Systems pravi: „Cerebras WSE je bil od začetka zasnovan za sodelovanje z AI vsebuje temeljne novosti, ki končno prebijajo večstoletno stagnacijo trenutnega stanja tehnike. Kot rezultat, Cerebras WSE zagotavlja stotine ali tisočekrat večje zmogljivosti v primerjavi s sodobnimi modularnimi rešitvami. In vse to s smešno porabo električne energije in malo prostora."
Komentar uredništva
Prvi testi AI, ki temeljijo na Cerebras WSE, kažejo, da naloge, ki jih vrhunski AI iz Nvidije reši tedne in mesece, Cerebras WSE reši v roku ene minute, kar je, kot kaže, vzrok za veselje. Vendar imajo teoretiki zarote v tem pogledu malo veselja.
Vsi se spominjamo (vsekakor starejše generacije naših bralcev) računalniškega razcveta modela "drznih 90-ih", ko je v nekaj letih moč računalnikov poskočila za redom. Kmalu je oseba, ki je zasijala s ponosom, kupila računalnik s 16 megabajti pomnilnika, ko se je po kratkem času ta pomnilnik preselil v predpomnilnik L2.
Vendar se zdi, da se je od začetka 2000-ih računalniška industrija ustavila: če računalnika modelov iz let 1990 in 2000 nista bili primerljivi, potem ni bilo nobene posebne razlike med računalnikoma modelov 2000 in 2010 - moč se je znatno povečala, ne pa tudi po vrstnem redu. Zdaj smo priča rojstvu drugega Intel 8086 in zdaj bodo zmogljivosti linije Cerebras WSE poskočile z enakim tempom: vsi problemi z nečistočami in jedrnimi povezavami so zdaj rešeni.
Ne poznamo vseh zmogljivosti sodobnega AI vodilnih proizvajalcev, vendar po splošnem mnenju ti izdelki še niso AI in so še daleč od polno misleče naprave. Kljub temu Cerebras WSE ni naredil le koraka v pravo smer, ampak je skočil deset let, če ne še bolj naprej, zdaj pa je SkyNet že precej predvidljiva perspektiva, ki jo bo mogoče uresničiti letos leta 2025.
Še več, v SkyNetu, za razliko od dolgočasnega homosapiena, ni potrebnega veliko časa za nadaljnji razvoj: nevronska mreža mora samo začeti malo razmišljati sama - in se spremeni v trenutku, po kateri začne jedrska vojna ali kaj podobnega. In še vedno bo zelo dobra možnost.
Ko bliskovni pogon s trilijonskim tranzistorjem izdeluje Samsung ali Nvidia, je vse to še vedno mogoče razložiti, saj so pomnilniška logična vezja relativno enostavna in enaka skoraj na celotnem območju. Toda razvoj 400.000 jeder, ki plužijo hkrati, in je tudi nekaj podvojencev, in nekaj strežniških postaj in hudiča vem kaj. In za to morate napisati tudi kontrolne programe, ki so jih pisali že leta. Potem je treba programe preizkusiti. Toda na čem so preizkusili, če je bila naprava narejena šele zdaj?
Z drugimi besedami, videti je, da so "Marsovci" spet odprli koše za domače domorodce. In obstajajo veliki dvomi, da je bilo to storjeno zato, da bi ugajali igralcem igre - najverjetneje je tu še kakšna naloga. In zdi se nam, kot sledi.
V zadnjih desetletjih se pametni ljudje vse pogosteje zastavljajo vprašanje izvora elektronske tehnologije, vprašanja univerzalne čipizacije, ki ni jasno, zakaj je to potrebno, in tako naprej. Da bi si nekako zafrknili možgane, so sestavili pravljico o "kvantnem računalniku", katerega načela ne razumejo niti ljudje, ki so bili imenovani za uradne "razvijalce". In zdaj si predstavljajte grozo povprečne mehiške gospodinje, katere novi mobilni telefon ne bo samo mislil bolje kot ona, ampak bo imel na krovu tudi kakšen "kvantni računalnik". Se pravi, taka norost je nesprejemljiva za domače domorodce - noro se bodo začeli norčevati.
Zato so se nekateri pametni "Marsovci" odločili, da bi dvopednim staroselcem planeta Zemlje prikazali preprostejši čudež - načela, ki jih lahko starejši iz NASA vsaj nekako razložijo. In če domačini to zgodbo sprejmejo, bodo "Marsovci" ljudem pokazali druga čarobna čudeža. Na primer, to Cerebras WSE bodo porinili v mobilni telefon in jo prodali za sto dolarjev. Za kupce modnih pripomočkov bo to seveda zelo kul in dobro, vendar bodo ljudje takoj pomislili nekoliko pametneje: kaj je potem v strežniških sobah različnih resnih organizacij, na primer NSA, FBI in CIA? Kakšne so možnosti za nadzor misli in vedenja prebivalstva?
