Področje umetne inteligence se pogosto primerja z naftno industrijo: ko pridobivajo in prečistijo, lahko podatki, kot je nafta, postanejo zelo donosna dobrina. Vendar zdaj postaja očitno, da se ta metafora širi. Tako kot fosilna goriva tudi globoko učenje močno vpliva na okolje. V novi študiji so znanstveniki z univerze v Massachusettsu Amherst ocenili učni življenjski cikel več skupnih velikih modelov AI.
Ugotovilo je, da lahko ta postopek ustvari več kot 626.000 funtov (približno 300.000 kg) ekvivalenta ogljikovega dioksida, kar je skoraj petkrat več kot emisije običajnega avtomobila v petih letih (vključno s proizvodnjo samega avtomobila).
Kako se trenirajo modeli AI
To je osupljiva količinska določitev tistega, kar raziskovalci AI že dolgo sumijo.
Karbonski odtis ogljikovega olja v naravnem jeziku
Promocijski video:
Članek posebej obravnava postopek usposabljanja modela za obdelavo naravnega jezika (NLP), podpolje AI, ki se ukvarja s stroji za usposabljanje za delo s človeškim jezikom. V zadnjih dveh letih je NLP skupnost naredila več pomembnih mejnikov na področjih strojnega prevajanja, dokončanja kazni in drugih standardnih nalog ocenjevanja. Zloglasni model OpenAI GPT-2 je kot primer uspel napisati prepričljive lažne novice.
Toda tak napredek je zahteval usposabljanje vedno večjih modelov na raztegnjenih nizih podatkov iz stavkov, potegnjenih z interneta. Ta pristop je računsko drag in zelo energijsko intenziven.
Raziskovalci so si ogledali štiri modele na območju, ki so odgovorni za največje preskoke v zmogljivosti: Transformer, ELMo, BERT in GPT-2. Vsak od njih so en dan trenirali na enem GPU-ju za merjenje porabe energije.
Nato so si vzeli število ur usposabljanja, določenih v originalnih vzorčnih dokumentih, da so izračunali skupno porabo energije v celotnem procesu usposabljanja. Ta količina je bila preračunana v ekvivalent kilogramov ogljikovega dioksida, kar je skladno z mešanico energije AWS iz Amazona, največjega svetovnega ponudnika oblakov.
Ugotovilo je, da so se računski in okoljski stroški usposabljanja povečali sorazmerno z velikostjo modela, nato pa so se ob prilagoditvi končne natančnosti modela povečali eksponentno. Iskanje nevronske arhitekture, ki poskuša optimizirati model s postopnim spreminjanjem strukture nevronske mreže s poskusi in napakami, povzroča izjemno visoke stroške z malo povečanja učinkovitosti. Brez tega je najdražji model BERT pustil ogljični odtis v višini 1.400 funtov (635 kg), blizu transameriški krožni vožnji.
Poleg tega je treba te številke obravnavati le kot osnovne podatke.
Znanstveniki ocenjujejo, da je za izdelavo in preizkušanje končnega modela, vrednega objave, v šestih mesecih treba usposabljati 4.789 modelov. Glede na ekvivalent CO2 to znaša približno 35.000 kg.
Pomen teh številk je ogromen, zlasti glede na trenutne trende v raziskavah AI. Na splošno raziskave AI zanemarjajo učinkovitost, saj so velike nevronske mreže prepoznane kot uporabne za različne naloge, podjetja z neomejenimi računalniškimi viri pa jih bodo uporabila za pridobitev konkurenčne prednosti.
Ilya Khel