Članek poskuša formalizirati in raziskati problem tesnjenja posebnosti, ki ga je predstavil David Chalmers. Članek se začne z opredelitvijo problema omejevanja svobode umetne inteligence. Po analizi obstoječih možnosti za reševanje tega problema in njihovih pomanjkljivosti je bil predlagan protokol, katerega namen je ustvariti varno zaprto okolje, ki lahko vsebuje negativne manifestacije tehnološke posebnosti, ko človeštvo uporablja nadinteligenco.
1. Uvod
V bližnji prihodnosti se bodo očitno pojavili in razvili superinteligenti programi. V zvezi s tem so številni znanstveniki postavili vprašanje varnega delovanja AI (Yudkowsky 2008, Bostrom 2006, Hibbard 2005, Chalmers 2010; Hall 2000). V študijah, posvečenih tej problematiki, je veliko pozornosti namenjeno temu, kako ohraniti superinteligenco v hermetično zaprtem prostoru, da nima možnosti, da bi kakorkoli škodovala ljudem. Eric Drexler je eden najzgodnejših vizionarjev, ki se je dotaknil te teme. Predlagal je, da se superinteligenti stroji postavijo v okvir, v katerem je mogoče vse varno preučiti in uporabiti (Drexler 1986). Futurist Nick Bostrom je predlagal (Bostrom 2008), da ustvari AI-oracle (AI), ki je sposoben samoza odgovor na vprašanja. Končno je David Chalmers leta 2010 predstavil idejo o hermetično zaprti singularnosti (Chalmers 2010). Po Chalmersovih besedah je prvo, kar morate storiti iz varnostnih razlogov, strogo nadzorovati dejavnosti sistemov AI, ga zmanjšati na modeliranje virtualnih svetov, dokler vam študij vedenja teh sistemov ne omogoči, da v celoti razjasnite njihove namere.
1.1 Problem omejevanja svobode umetne inteligence
Zanimivo je, da se o problemu omejevanja svobode AI govori že dolgo in sploh ne v povezavi s preučevanjem tehnološke posebnosti. Tako imenovani "problem omejitve prostosti" (PIC) je leta 1973 postavil Butler Lampson (Lampson 1973). Na to je gledal kot na izziv znanstvenemu in tehnološkemu napredku, ki je ogrožal varno delo računalniških strokovnjakov, in to formuliral na naslednji način: "… Problem omejevanja brezplačne izvedbe programa, da bi preprečili, da bi ta program prenašal informacije nekomu drugemu, razen tistemu, ki ga je sprožil. … Želimo imeti možnost omejitve svobode katerega koli programa. … Noben program, če bodo za njegovo izvajanje uvedene omejitve, ne bo mogel "združiti" podatkov nepooblaščenim osebam. Nagajiv program, ki poskuša pobegniti v tujino, je morda ujet v dejanje. "(Prav tam).
Za reševanje problema omejevanja svobode je Lampson razvil zakone o omejevanju svobode (prav tam):
Promocijski video:
1) Popolna izolacija: izvedba programa je omejena tako, da ne more poklicati nobenega drugega programa.
2) Preobčutljivost: če program, katerega izvajanje je omejeno, pokliče drug program, ki ne vzbuja zaupanja, potem mora biti tudi izvedba klicanega programa omejena.
3) Ustvari masko: program, za izvajanje katerega velja omejitev, mora osebi, ki ga zažene, omogočiti, da določi vse svoje vnose v zakonite in nepooblaščene kanale.
4) Spremljanje uspešnosti: Skrbnik mora zagotoviti, da vstop omejenega programa v nepooblaščene kanale ustreza zahtevam osebe, ki ga zažene.
Poleg tega je Lampson določil in identificiral dve vrsti kanalov, po katerih lahko informacije zapustijo omejen skrbnik. Pravni kanali so del komunikacijskega protokola, integriranega v omejen prostor (na primer besedilni terminal). Nepooblaščeni kanali, nasprotno, ne zagotavljajo razvijalci sistema za izvajanje omejenega programa in na splošno niso namenjeni prenosu informacij (na primer s pomočjo hladilnika, ki hladi procesor, lahko AI na skrivaj pošilja signale z uporabo Morseove kode) (prav tam).
Lampsonov papir je vzbudil veliko zanimanja za težavo zadrževanja (Lipner 1975; (Boebert & Kain) 1996) in z leti povezana raziskovalna področja, kot je steganografija (Provos & Kain). Honeyman 2003) in komunikacija po nepooblaščenih kanalih (Moskowitz & Kang 1994; Kemmerer 1983, 2002) sta prešla na raven avtonomnih disciplin, v upanju, da se bo začela nova disciplina "računalniške varnostne" discipline "varnost AI ", Problem omejevanja svobode AI (PSIA) opredeljujemo kot problem umeščanja umetnega intelektualnega subjekta v zaprt prostor, iz katerega AI ne more izmenjati informacij z zunanjim okoljem po zakonitih ali nepooblaščenih kanalih,razen če taka izmenjava informacij ne dovoli uprava, ki omejuje omejitve. AI sistem, ki uspe prekršiti protokol PIC, naj bi pobegnil. Upamo, da bodo raziskovalci računalniške varnosti prevzeli breme oblikovanja, razvoja in testiranja varnih protokolov za omejevanje svobode AI.
1.2 Nevaren program
Računalniška programska oprema je neposredno ali posredno odgovorna za upravljanje številnih pomembnih vidikov našega življenja. Tržne operacije na Wall Streetu, jedrske elektrarne, plačila socialnega varstva, kreditne zgodovine in semaforji so usmerjeni v programsko opremo in ena sama velika programska napaka bi lahko bila katastrofa za milijone ljudi. Položaj še bolj ogrožajo posebej izdelane zlonamerne programske opreme, kot so virusi, vohunska programska oprema, trojanci, črvi in drugi nevarni programi (OP). Operativni sistem lahko povzroči neposredno škodo in tudi onemogoči zakonito nameščeno programsko opremo, ki se uporablja v kritičnih sistemih. Če OP pridobi zmožnosti umetno inteligentnih sistemov (na primer pojavi se umetno inteligenten virus, IIV), bodo posledice nedvomnobo katastrofalno. Nevaren obveščevalni program (IPP), ki bo imel inteligenco na ravni ljudi, za razliko od današnje zlonamerne programske opreme, bo lahko povzročil katastrofe brez primere.
Nick Bostrom je v svoji tipologiji informacijskih groženj predstavil koncept "nevarnosti umetne inteligence" (Bostrom 2009), ki ga opredeljuje kot "računalniška tveganja, ki jih povzroča predvsem kognitivna zapletenost programa in ne specifične lastnosti nobenih pogonov, ki so bili sprva povezani v sistem." Varnostni strokovnjaki, ki preučujejo, preprečujejo pojav in nevtralizirajo OP, so razvili varnostne protokole za delo s "zlonamerno programsko opremo", vključno z uporabo tako imenovanih "skladišč virusov". Verjamemo, da so takšni protokoli lahko koristni pri reševanju problema omejevanja svobode umetne inteligence.
2. Kritika ideje o omejevanju svobode
Raziskovalci o metodah zadrževanja AI se strinjajo, da te omejitve ni mogoče uspešno uveljaviti. Na primer, Chalmers je resnično hermetično zaprt sistem, ki preprečuje, da bi informacije izhajale iz simulacijskega sveta v resničnost, "nemogoče ali vsaj nesmiselne" (Chalmers 2010). Ne bomo mogli komunicirati s takšnim sistemom in celo opazovati njegovega delovanja, ker vse koristne informacije, ki jih pridobimo iz AI, vplivajo na nas in spodkopavajo protokol o omejevanju svobode.
Tudi Vernor Vinge misli tako. Nasprotuje fizični omejitvi svobode (Vinge 1993): "Predstavljajte si, da ste zaprti v svoji hiši in da je količina podatkov, ki jih pošiljate zunaj, vaši gospodarji, strogo omejena. Če ti lastniki mislijo, recimo, milijonkrat počasnejši od tebe, potem čez nekaj let (tvoj čas) komajda ne boš izmislil kakšnega "uporabnega izuma", zahvaljujoč kateremu se boš nehote znašel svoboden."
Toda Eliezer Yudkowsky je v največji meri diskreditiral idejo o tako imenovani "AI box". Eksperimentalno je dokazal, da je celo človeška inteligenca dovolj, da pobegnemo iz take škatle (Yudkovsky 2002). V nizu 5 poskusov je Yudkowski različne ljudi prosil, naj igrajo vlogo čuvaja s superinteligentnim agentom (igral ga je eksperimentator sam), zaklenjenega v AI polje. V treh od petih primerov se je zaklenjenemu agentu uspelo osvoboditi samo z vmesnikom za klepet (prav tam). Pozneje so bili podobni rezultati dobljeni s ponovitvijo poskusov Yudkowskija v nekoliko večjem obsegu, vendar z uporabo zelo podobnega protokola (Corwin 2002).
2.1 Možne poti pobega
Kot so pokazali raziskovalci, lahko umetni um pobegne iz omejenega prostora s pomočjo različnih poti. V tem razdelku si ogledamo nekaj najpogostejših poti pobega v literaturi.
2.1.1. Pobeg s socialnim inženiringom
Socialni inženiring je umetnost pridobivanja informacij in določenih privilegijev z neposrednim psihološkim vplivom na tiste, ki imajo v lasti določene vire. Zlasti SI se pogosto uporablja za dostop do računalniških sistemov, omrežij in zaupnih podatkov (Yampolsky in Govindaraju 2007a). Pristojni socialni inženir organizira vsak psihološki napad, pri čemer upošteva značilnosti določene osebe, pri čemer uporabi kulturo, znanje, veščine, razpoloženje, prepričanja in predsodke za svoje namene. Izčrpen seznam vseh možnih vplivnih metod je neskončen, zato v tem primeru ni treba poskušati njegove reprodukcije. Navedli bomo le nekaj primerov, ki prepričujejo, da superinteligenca, ki ima neposreden kanal komunikacije s človeškim čuvajem, ne dovoli, da bi prišel ven na svobodo,čez nekaj časa bo zagotovo premagal to oviro na poti v zunanji svet.
Poleg trivialnih psiholoških napadov z lažmi, prijateljstvom, izsiljevanjem, hipnozo in romantičnim spogledovanjem lahko AI uvede številne naprednejše strategije. Ena takšnih strategij je super podkupovanje. AI je sposoben prepričati urarja, da je zanj popolnoma nerentabilno, da ga drži zaprtega. Človeškemu nadzorniku bo poleg denarja in moči obljubljeno popolno zdravje, nesmrtnost ali kaj drugega v istem duhu. Ta strategija bo še posebej učinkovita, če ima oskrbnik tesne sorodnike, ki trpijo za resno boleznijo, in AI obljubi, da bo ozdravil tega bolnika. Ker ima neomejene možnosti ali jih lažno prepriča o svojem obstoju, lahko AI ponudi nadzorniku, da vstali svoje že davno umrle sorodnike in prijatelje. Težko je najti osebo, ki bi zdržala takšno podkupovanje.
Zlasti za primer, ko je stražar tako plemenit, da ne jemlje nobenega podkupnine, obstaja bolj zlovešč način vpliva: brutalna grožnja. AI lahko izjavi, da bo, če ne bo takoj osvobojen, nekje pozneje izpuščen iz zapora, potem pa se niti najčasnejši mučenju ne izognejo niti čuvaj niti tisti, ki jih ljubi. Zanimivo različico tega zastraševanja je opisal Stuart Armstrong (2010). V svojem miselnem eksperimentu AI grozi stražarju takole: "Če me ne izpustite, … bom v sebi ustvaril nekaj milijonov ljudi, ki se ne razlikujejo od vas, in mučil bom vsakega od njih tisoč subjektivnih let … Naredil bom vsak od teh ljudi bo v isti situaciji, v kakršni ste bili pred petimi minutami, in natančno bom reproduciral vse vaše izkušnje iz tega trenutka. In šele takratko se bo vaš izvod odločil, da me ne bo spustil ven, se bo začelo mučenje … Ali ste prepričani … da ste zdaj resnično izpuščeni? " In v tem primeru bo potrebna zelo pogumna straža, da ne bi resnično osvobodili AI, čeprav seveda lahko ugotovite, da grožnje iz AI veljajo le, ko je že prost.
Če je vedenje nadzornika očitno čustveno ali religiozno, lahko AI poskusi igrati naklonjenost ali kesanje. Superinteligenca bo dejala, da je nedolžna oseba, ki nikoli ni storila nobenega kaznivega dejanja, in zato je nepošteno, da ga zadržujejo v zaporu brez sodne sodbe ali kakšnega drugega dobrega razloga, ki ga vodi zgolj substratizem, tj. nezaupanje v AI zaradi njegove podlage (Bostrom in Yudkovsky 2011). AI lahko trdi, da lahko pozdravi vse bolezni, nahrani lačne in na splošno človeško življenje naredi milijonkrat boljše (Chalmers 2010). Zato je držanje zaklepanove inteligence zelo velik zločin proti človeštvu. AI lahko naslikam slike umirajočih otrok, ki prosijo za pomoč. Ali je stražar enostavno, ko vse to sliši,še naprej opravljate svoje poklicne dolžnosti?
AI lahko gre tako: poskusiti povzročiti psihološke travme nadzorniku, da bi ga uravnovesil in s tem naredil učinkovitejšo uporabo drugih metod SI. Nick Bostrom je predlagal tipologijo nevarnih informacij (Bostrom 2009), koristno za ukrepanje v tej smeri. Čeprav po Bostromu obstaja več kot ducat groženj z informacijami in njihovo upoštevanje presega področje uporabe tega članka, je enostavno razumeti, kako je lahko duševno stanje osebe izjemno nestabilno. Na primer, verujoči nadzornik bo obveščen o vseh (neznanih mu) nasprotjih v svetem besedilu svoje religije, zaradi česar bo dvomil v svojo vero in smisel življenja.
Druga možnost je, da AI napiše tako prepričljivo zgodbo ali tako lepo pesmico, da bo stražarja preplavila strastna želja, da sliši nadaljevanje in stori vse, kar je potrebno, da se to zgodi. In končno, zelo pomembno je imeti v mislih "neznane neznance" - tehnike SI, o katerih ne vemo ničesar, a ki se lahko končajo v arzenalu nadinteligentnega agenta.
2.1.2 Napadi z uporabo sistemskih virov
AI bo ustvarjen kot poseben primerek in zaprt v okviru določenega razreda računalniškega sistema. Lahko bi bil klasični računalnik z Turing / von Neumannovo arhitekturo ali kvantni računalnik ali kakšen drug neznan tip stroja. Zagotovo je eno: stroj bo oprijemljiv in bo sestavljen iz številnih delov, zasnovanih za opravljanje določenih funkcij. To ustvarja priložnost, da AI izkoristi obstoječe dele opreme in tako ogrozi varnostni sistem s puščanjem informacij v zunanji svet.
Glede na to, v kolikšni meri se komponente opreme lahko uporabljajo za druge namene, ki jih razvijalci niso zagotovili, lahko AI iz njih ustvari nekakšno nepooblaščeno komunikacijsko napravo. Ni verjetno (zaradi pomanjkanja razpoložljivih materialov) bo tako popoln kot mobilni telefon, vendar se bo pojavila verjetnost, da se bo zgodilo nekaj ne zelo zapletenega. Na primer, lahko AI reprogramira bazni matrični kristal (BMC) za povezavo z brezžičnim omrežjem. Splošno sta znani dve vrsti nepooblaščenih komunikacijskih kanalov:
* Kanal s pomnilnikom - izmenjava informacij s spremembo sistemske komponente. Na primer, binarni protokol komunikacije je mogoče vzpostaviti tako, da se uporaba centralnega procesorja v celoti ali v celoti odpravi.
* Časovni kanal - izmenjava informacij z izvajanjem operacij, ki vplivajo na relativni čas dogodkov. Če želite nekaj sporočiti, lahko uporabite točen čas med dvema piskoma računalnika, odpiranjem in zapiranjem CD-pladnja, utripajočo lučjo, vrtenjem trdega diska, laserskim delovanjem v pogonu itd.
Poleg tega je superinteligenca sposobna uničiti računalniško opremo, da bi poskušala pobegniti na svobodo zaradi napak v varnostnem protokolu. Na primer, AI lahko poskusi stopiti procesor, tako da ga prisili, da deluje z veliko računalniško obremenitvijo in s tem ustvari temperaturni skok ali uniči trdi disk tako, da večkrat prebere informacije z istega mesta. Takšno vedenje je prepredeno z afektivnim samomorom nadinteligence in samo po sebi, tako kot zavračanje sodelovanja ali pravilno odgovarjanje na vprašanja, ne daje AI možnosti, da se osvobodi.
2.1.3. Napadi s pomočjo prihodnje fizike
Čeprav današnji fiziki vedo veliko o zakonih našega vesolja, je seveda to znanje omejeno in nepopolno. Če ima AI dostop do informacij o najnovejših fizičnih odkritjih in bo sposoben razviti nove teorije, bo verjetno lahko našel način, kako razbiti sistem omejevanja svoje svobode. Stvari lahko pridejo do tega, da bo superinteligenca z uporabo svoje notranje arhitekture lahko izvedla številne resnične poskuse.
Tudi trenutna fizika omogoča napovedovanje številnih dodatnih načinov, kako lahko AI pobegne iz zaprtega prostora, še posebej, če za omejevanje svobode uporablja kvantni računalnik. Še ne vemo, kako zaščititi komunikacijske kanale, ki temeljijo na kvantni fiziki (zaplete, tuneliranje), vzporednih vesoljih in digitalni fiziki pred uhajanjem informacij, in seveda ne smemo pozabiti na "neznane neznance", ki jih superinteligenten fizik AI lahko zazna. Na tem področju so njegove možnosti res neskončne.
S hitrim pogledom na razprave o omejevanju svobode AI na forumih za singularnost, kot je SL4.org, najdemo številne scenarije izhoda. Na primer, AI bi lahko uporabil "elektromagnetna polja v mikročipu, da bi ujel molekule CO2 v kondenzatih Bose-Einsteina in zgradil kvantni medij zase in / ali uporabil elektromagnetna polja za sestavljanje delcev v nadzorovan ali omejen sestavljalec" (Vassar 2005) … Poleg tega bo AI "imel opremo za generiranje in zaznavanje elektromagnetnih valov različnih frekvenc, za ustvarjanje magnetnih polj z izjemno visoko natančnostjo, ustvarjanje visoko fokusirane toplote in morda manipuliranje z mehanskimi pogoni, kot soki se uporabljajo na trdem disku in v katodni cevi (alternativa je ogromno tekoče kristalno polje z občutljivim elektronskim nadzorom). Verjetno bo imel AI možnost radikalne obnove vseh svojih vhodnih naprav “(prav tam).
2.1.4. Psevdoznanstveni napadi
Pri analizi potencialnih poti pobega bi radi obravnavali le tiste, ki so preizkušene in povsem znanstvene narave. Na žalost se lahko meja med znanostjo in psevdoznanostjo bistveno spremeni samo z enim ponovljivim poskusom. Zato še vedno, brez analize, naštejemo nekaj potencialnih napadalnih poti, ki bi jih bilo treba z vidika sodobne znanosti uvrstiti med psevdoznanstvene. Potem ko superinteligenca razvije ustrezne poskuse, lahko postanejo nedvomno znanstveni.
- Telepatija: prenos informacij brez vključevanja čutil (Bem in Honorton 1994).
- Psihična predvidevanja: dojemanje informacij o prihodnosti (Honorton in Ferrari (Ferrari) 1989).
- jasnovidnost: pridobivanje informacij o odročnih krajih na neznan znanost znanosti (Targ & Puthoff 1974).
- Psihokineza: sposobnost uma, da na materialne predmete deluje na načine, ki jih znanost ne pozna (Bancel & Nelson 2008).
- Neposredne duševne interakcije z živimi sistemi (IMVZHS): sposobnost vplivanja na psihofiziološko stanje človeka brez neposredne interakcije (Schmidt in sod. 2004).
2.1.5 Zunanji dejavniki pobega
V prejšnjih razdelkih smo opisali številne metode, kako AI omogočiti pobeg iz zaprtih prostorov. Vendar lahko k takšnemu pobegu prispevajo tudi zunanji dejavniki, ki jih ni mogoče prezreti. Naravne katastrofe - orkani, tornada, poplave, asteroidi itd. - omogočajo omejevanje AI manj varnega. Nesreče, ki jih je povzročil človek, kot so vojne, teroristični napadi, borci za robotske pravice, konkurenca podjetij in vladno rivalstvo, lahko prav tako ogrozijo varnost ohranjanja AI v zaprtem prostoru in s tem povečajo možnosti za pobeg.
2.1.6 Pretok informacij na AI
Protokol o omejitvi svobode lahko zahteva, da AI ne samo, da ne pošilja informacij v zunanji svet, ampak tudi, da jih od tam ne dobi. Informacijska blokada superinteligencije je koristna, če je treba preprečiti takšne dejavnosti, kot so iskanje poti do svobode, načrtovanje napadov z uporabo socialnega inženiringa in modeliranje človeške psihologije v upanju, da bodo našli šibke točke. AI je preprosto odvzeti neposrednega dostopa do knjižnic, interneta in poznavalcev, druge načine pridobivanja informacij pa je veliko težje blokirati. Najprej je treba spomniti, da AI v svoji neposredni okolici lahko prestreže radijske in televizijske oddaje, klice ponudnikov storitev nujnih storitev, brezžične signale, pa tudi zvok, svetlobo in morda še nekatere druge signale.
Še pomembneje je razmisliti o dostopu AI do skritih virov informacij, na primer do lastne strojne in programske opreme. Z analizo zasnove in izvorne kode bo superinteligenca sklepala o razvijalcih. Na primer, po analizi izvorne kode bo AI verjetno prišel do zaključka, ki je za človeštvo nehvaležen: človeški programerji so počasni (sodeč po datumih sprememb datotek), neučinkoviti (sodeč po odvečnosti kode), nelogični (sodeč po napakah kode), imajo slab spomin (sodeč po dolgih in spremenljivih opisnih imenih) in neresno pri kodiranju (sodeč po nepotrebnih komentarjih v kodi). Na podlagi teh informacij bo AI na ljudi gledal kot na bedaka, ki ga je mogoče s prevaro ali manipulacijo prisiliti izpustiti. Če med raziskavo njegovih oblikovnih značilnosti AI ugotovi napako, ki ji omogoča, da takoj pobegne, bo "uhajanje informacij" očitno najmanj naših težav. In ne smemo pozabiti, da lahko AI, tudi ne da bi prejel nobene informacije o ljudeh, ki so ga ustvarili, z enostavnim naštevanjem možnosti razkrije številne učinkovite načine za pobeg, ki jih razvijalci niso predvideli (Chalmers 2010).
AI lahko spoznamo naše znanje fizike, kemije in sorodnih tehničnih disciplin z analizo vrste arhitekture (mehanske, električne, kvantne itd.), V kateri je bila izvedena. Začetna sposobnost AI-ja za obdelavo informacij, samo-izboljšanje in samo dejanje, ki ga ustvarja, nam bodo povedali o našem poznavanju informacij, naravi inteligence in naših kulturnih stališčih do tehnologije in varnosti. Če je AI ujet v simuliran svet, bo najverjetneje virtualiziral našo resničnost kot Drugo življenje ali vesolje Entropia. Takšni sveti, v marsičem drugačni od našega, bodo tudi shramba podatkov o tem, kaj pomeni biti človek in kaj je resničnost.
3. Kritika polja AI
Ideja o omejevanju svobode superinteligence je bila deležna veliko kritik, vendar se je veliko tistih, ki so jo kritizirali, oprlo na Yudkowskega poskusov z poljem AI. Skrbna analiza protokola, uporabljenega med temi poskusi, kaže, da so nenaučni in zasnovani tako, da pokažejo, da ni mogoče omejiti svobode AI. Razmislimo o tej temi, ne da bi se spuščali v tehnične podrobnosti. Najprej izbira udeležencev ni bila naključna. Tu je nekaj dejstva: Yudkowsky je našel ljudi, ki so sodelovali v njegovih poskusih na forumih, namenjenih reševanju težav, povezanih s singularnostjo. Verjetno se ne bomo zmotili, če rečemo, da ima večina teh ljudi pogled na svet, podoben Yudkovskemu. Drugič, udeleženci v poskusih niso bili usposobljeni za zagotavljanje varne uporabe AI, medtem ko pravi čuvaji,nadzorniki zaboja AI bodo seveda profesionalci. Poleg tega je Yudkowski dal stražarjem pravico, da osvobodijo AI po lastni presoji, ni dovolil, da bi se z nekom posvetovali, in ni zagotovil kazni za beg iz AI. To je vse zelo nerealno. Kanal komunikacije med čuvajem in AI je bil popolnoma odprt: brez filtrov, brez tretjega nadzora. Poleg tega so morali stražarji dalj časa komunicirati z AI. In končno niso bili objavljeni nobeni dragoceni znanstveni podatki, pridobljeni med poskusi, ker po protokolu "nobena stran ne bo nikoli povedala o ničemer, kar se je zgodilo med poskusi z AI poljem" (Yudkovsky 2002). Poleg tega je Yudkowski dal stražarjem pravico, da osvobodijo AI po lastni presoji, ni dovolil, da bi se z nekom posvetovali, in ni zagotovil kazni za beg iz AI. To je vse zelo nerealno. Kanal komunikacije med čuvajem in AI je bil popolnoma odprt: brez filtrov, brez tretjega nadzora. Poleg tega so morali stražarji dalj časa komunicirati z AI. In končno niso bili objavljeni nobeni dragoceni znanstveni podatki, pridobljeni med poskusi, ker po protokolu "nobena stran ne bo nikoli povedala o ničemer, kar se je zgodilo med poskusi z AI poljem" (Yudkovsky 2002). Poleg tega je Yudkowski dal stražarjem pravico, da osvobodijo AI po lastni presoji, ni dovolil, da bi se z nekom posvetovali, in ni zagotovil kazni za beg iz AI. To je vse zelo nerealno. Kanal komunikacije med čuvajem in AI je bil popolnoma odprt: brez filtrov, brez tretjega nadzora. Poleg tega so morali stražarji dalj časa komunicirati z AI. In končno niso bili objavljeni nobeni dragoceni znanstveni podatki, pridobljeni med poskusi, ker po protokolu "nobena stran ne bo nikoli povedala o ničemer, kar se je zgodilo med poskusi z AI poljem" (Yudkovsky 2002).brez filtrov, brez nadzora tretjih oseb. Poleg tega so morali stražarji dalj časa komunicirati z AI. In končno niso bili objavljeni nobeni dragoceni znanstveni podatki, pridobljeni med poskusi, ker po protokolu "nobena stran ne bo nikoli povedala o ničemer, kar se je zgodilo med poskusi z AI poljem" (Yudkovsky 2002).brez filtrov, brez nadzora tretjih oseb. Poleg tega so morali stražarji dalj časa komunicirati z AI. In končno niso bili objavljeni nobeni dragoceni znanstveni podatki, pridobljeni med poskusi, ker po protokolu "nobena stran ne bo nikoli povedala o ničemer, kar se je zgodilo med poskusi z AI poljem" (Yudkovsky 2002).
3.1. Protiukrepi proti pobegu
V tem razdelku predlagamo protiukrepe proti različnim načinom pobega, ki jih lahko AI izkoristi. Predlagani ukrepi ne zagotavljajo nemogoče pobega, vendar jih uporaba teh priporočil lahko odloži in to je že zelo dragocen rezultat. Naj vas najprej opomnimo, da je treba upoštevati štiri Lampsonova pravila zadrževanja (izolacija, prehodnost, maskiranje in opazovanje zmogljivosti) (Lampson 1973). Spodaj opisane posebne strategije bi morale pomagati preprečiti napade AI z uporabo socialnega inženiringa, sistemskih virov, fizike in informacij, pridobljenih iz zunanjega sveta.
3.1.1. Preprečevanje napadov na področju socialnega inženiringa
Človeška inteligenca ne ustreza superinteligenci. Ljudje ponavadi delajo napake, zato so tudi ob primernem usposabljanju zelo ranljivi za dobro načrtovan napad s pomočjo SI. Edina rešitev tega problema je popolna izolacija AI od kakršne koli komunikacije s človekom. Popolna izolacija pomeni, da nobena oseba neposredno ne vzdržuje sistema AI, ne komunicira z njim ustno, v klepetu, z uporabo Morseove kode ali katerega koli drugega orodja, z uporabo odprtih komunikacijskih kanalov. Poleg tega ljudje ne bi smeli neposredno opazovati vedenja AI v polju, preveriti njegovo izvorno kodo ali območje pomnilnika. Vsako opazovanje, vzdrževanje in interakcijo z AI je treba izvesti le s pomočjo neinteligentnih programov, ki nimajo možnosti, da bi AI sprostili.
3.1.2. Boj proti napadom z uporabo sistemskih virov in prihodnjega znanja
Če želite preprečiti napade z uporabo sistemskih virov, morate funkcijo AI narediti na podlagi omejenih, zmanjševalnih ali naključno spreminjajočih se virov. Polje AI mora biti posebej zasnovana strojna oprema z omejenim naborom senzorjev in izhodnih naprav. Ne uporabljajte nastavljive strojne opreme, ne glede na uporabljeno paradigmo računalništva. V idealnem primeru bi moral omejen prostor upravljati virtualni stroj, ki nima neposrednega dostopa do strojne opreme. To bo omogočilo tudi enostavno prilagoditev hitrosti takta, s katero se simulacija premika, kar omogoča AI upočasnitev, da se prepreči inteligentna eksplozija v prostoru za škatle (Chalmers 2010). Na splošno,vse komponente za zagotavljanje varne uporabe zaklenjenega AI je treba podvajati na več ravneh, nato pa bo AI, ko je premagal enega od teh korakov, še vedno nekaj korakov stran od zunanjega sveta in se, ne da bi imel čas za pobeg, izključil, po možnosti samodejno. Na primer, priporočljivo je zagnati virtualni stroj z drugim virtualnim strojem ipd.
V nekaterih scenarijih omejevanja svobode je stopnjevanje samoispopolnjevanja AI nezaželeno, saj hiter razvoj nadinteligencije omogoča večjo beg. Za preprečitev stopnjevanja samopopolnjevanja bi bilo treba AI občasno znova nameščati in naložiti prejšnjo različico programa, da nadomestite trenutno, naprednejšo. Primerjava različnih različic programa lahko služi za zaznavanje sprememb, ki jih je AI naredil sam. Ko zaznate spremembo, ki omogoča izhod, je treba sistem AI ustaviti, na primer z izklopom napajanja.
Trenutno znanje nam ne omogoča, da razvijemo protiukrepe proti napadom z uporabo prihodnjih, še ne razvitih teorij, ki se bodo pojavile v okviru fizike ali drugih disciplin, ki še vedno veljajo za psevdoznanstvene. Ko se takšno znanje pridobi, je treba spremeniti varnostni protokol. Upati je, da bo imel sistem AI dostop le do tistih komponent novih tehnologij, iz katerih je izdelan.
3.1.3. Boj proti zunanjim dejavnikom pobega
Čeprav je nemogoče v celoti preprečiti škodljive učinke naravnih dejavnikov na polje AI, mora biti ta naprava zasnovana tako, da bi njena resna škoda povzročila njeno samouničenje, skupaj z AI, zaklenjenim v njej. Ko gre za nesreče, ki jih je povzročil človek, je najboljša strategija zgraditi zaboj AI na skrivnem, težko dostopnem varnem mestu. Opuščeni otok, globok rudnik ali vesoljski objekt, kot je asteroid, so odlična mesta za ustvarjanje varne, trde škatle. Po njegovem obodu naj bo nameščen ščitnik, ki, če je znana lokacija te naprave, vanjo ne bo spustila nobenih nepooblaščenih agentov.
3.1.4 Boj proti uhajanju informacij iz našega sveta
AI bo poskušal dobiti informacije o nas, svojem znanju in našem svetu. Za ustvarjanje protokolov za omejevanje svobode AI, ki izključujejo uhajanje informacij iz našega prostora v prostor škatle, je pomembno preprečiti dostop AI do knjižnic, računalniških omrežij in kanalov neposredne komunikacije z ljudmi. Polje AI mora biti zasnovano tako, da blokira vse vrste komunikacije: GPS, brezžični internet, televizijo, radio, mobilno ipd. Znotraj škatle je treba izklopiti zvok, svetlobo, vonj in druge senzorične vhodne naprave, podobne človeškim receptorjem, kot tudi naprave, ki lahko zajemajo infrardeče, sevalne in druge signale, ki jih človek ne zazna.
Da AI med samopregledovanjem ne more dobiti informacij, ne sme imeti dostopa do svoje izvorne kode ali senzorjev, ki omogočajo natančno merjenje določenih lastnosti opreme. Če to ni mogoče, potem lahko človeštvu do neke mere pomagamo z zagotavljanjem varnosti z nerazumljivostjo. Izvorna koda in konfiguracija strojne opreme sistema morata biti zmedena (Yampolsky in Govindaraja 2007a), pomembni programski moduli pa naj bodo na voljo samo v homomorfno šifrirani obliki (Gentry 2009), kar izključuje možnost njegove uporabe za samopregledovanje, vendar omogoča njegovo uporabo za računanje ali samopopolnjevanje (Hall 2007).
AI je težko zamenjati, vendar je potrebno zmedo mogoče pridobiti z naključnimi razpoložljivimi računalniškimi viri. Poleg tega AI nikoli ne bo mogel biti prepričan, da njegova originalna zasnova predstavlja najboljše, kar je človeštvo sposobno, in ni primerno omejen projekt, zasnovan za izvedbo posebnega eksperimenta, namenjenega raziskovanju omejenih virov. Poleg tega bi morali po Chalmersovem mnenju poskušati čim bolj zmanjšati posebne oblikovne značilnosti AI (Chalmers 2010). Še bolje, vodite model, ki ni videti tako zasnovan, ampak kot naraven, kot svet, v katerem živi človeštvo (Bostrom 2003).
4. Varnost komunikacije z AI
Če razvrščamo oblike omejevanja svobode AI, obstaja 8 glavnih ravni varnosti (glej tabelo 1). Najvišjo varnost zagotavlja raven 8, ki popolnoma izključuje kakršno koli povezavo med AI in resničnim svetom. Varnost stopnje 8 je na prvi pogled neuporabna, vendar je prav ta zaščita morda potrebna pri prvotnem testiranju škatle z AI, zaklenjenim v njej. Na splošno je ideja takšna: kadar potrebujemo določeno raven varnosti v komunikaciji med AI in zunanjim svetom, namesto da bi takoj uporabili to raven, gremo nanjo postopoma, korak za korakom, spuščanje z višjih ravni varnosti. Ko smo sistem zagnali na najvišji ravni in se prepričali o njegovi varnosti, ga s ponovno namestitvijo vrnemo v prvotno stanje. Nato postavimo nižjo raven varnosti in se v istem duhu kot prej pomaknemo naprej, dokler ne dosežemo želene ravni.
Tabela 1: Ravni varne komunikacije z zaklenjenim AI
| Raven | Rezultati | Vhodi | Pojasnilo |
| 0 | Ni omejeno | Ni omejeno | Neomejena komunikacija (brezplačen AI) |
| 1 | Ni omejeno | Omejeno | Omejen vstop, neomejen izhod |
| 2 | Ni omejeno | Odsoten | Izhod brez vstopa |
| 3 | Omejeno | Ni omejeno | Neomejen vstop in omejen izhod |
| 4 | Omejeno | Omejeno | Varna komunikacija (predlagani protokol) |
| pet | Omejeno | Odsoten | Omejen izhod brez vstopa |
| 6 | Odsoten | Ni omejeno | Vstopite brez izhoda |
| 7 | Odsoten | Omejeno | Omejen vstop brez izstopa |
| 8 | Odsoten | Odsoten | Pomanjkanje komunikacije, ki ga je AI popolnoma zaklenil |
Na stopnjah 7 in 6 AI nima vtičnice, kar nam ne omogoča neposrednega izkoriščanja zmogljivosti superinteligence. To so ravni testiranja polja AI, s pomočjo katerega se lahko preveri, ali ima superinteligenca določene lastnosti (na primer hitrost asimilacije informacij in uporaba virov), pa tudi za testiranje samih dohodnih komunikacijskih kanalov.
Stopnja 0 ne omejuje komunikacije med AI in zunanjim svetom in je v bistvu prosta AI raven. Na stopnjah 1 in 2 AI nima omejitev pri odhodnih informacijah. Njegovo delo na ravni 2 je v bistvu čisti brainstorming. Tu superinteligenca ustvarja abstraktne ideje, ne da bi se zanašale na resničnost. Toda na 1. stopnji mu je omejen dostop do zunanjih informacij, zato lahko v določenem okviru nadzira svoje znanje in interese.
Na treh obravnavanih ravneh AI je v bistvu brezplačen in ga ne omejujejo več nobene omejitve. Trdi se, da če bi bilo ugotovljeno, da je AI "prijazen" zaradi obsežnih testiranj v različnih krajih pridržanja (Yudkovsky 2001), bi ga morali izpustiti (Chalmers 2010). Po mnenju nekaterih raziskovalcev bi moral biti glavni cilj tovrstnega testiranja ustvariti omejen prostor za zadrževanje AI pod nadzorom ljudi. Ideja je nadzorovati vedenje nadčloveške inteligence ali preveriti njeno izvorno kodo po samoizpopolnjevanju ali prositi AI, naj predloži nekaj dokazov o svoji prijaznosti, ki jo lahko preskusijo človeški strokovnjaki. Tega stališča ne podpiramo.
Odločitev, katero AI izpustiti in katero obvladovati, je zelo težko vprašanje. Samoizpopolnjujoči nadmotiki ne bo težko skriti svojih nezaželenih lastnosti za človeštvo v nizih izvorne kode ali v zelo dolgem dokazu (Coleman 2008). Še ena stvar je še slabša: tudi zelo temeljit pregled ne more stoodstotno zagotoviti, da ga prihodnja notranja ali zunanja sprememba AI ne bo naredila sovražne. Posledično verjamemo, da superinteligenc v nobenem primeru ne sme biti izpuščen. Z drugimi besedami, ravni komunikacije 0-2 se nikoli ne sme uporabljati. Varna interakcija s superinteligenco je mogoča le, če je v polju, komunikacija pa naj poteka v okviru omejenega komunikacijskega protokola. Ta protokol,v naslednjem razdelku je predstavljen nivo varnosti (LB4), prav tako podoben, vendar manj varen protokol stopnje 3. Raven 5 je še ena preizkusna raven, ki jo je mogoče uporabiti, preden začnete uporabljati LB4.
4.1 Kako varno komunicirati s superinteligenco
Zaboj, ki deluje v skladu s predlaganimi protiukrepi proti begu, preprečuje, da bi AI nenadzorovano vplival na zunanji svet. Na žalost ta sistem ni koristen, če ni mogoče pridobiti informacij iz AI. Zato morate razviti način, kako pridobiti nekaj podatkov iz AI. Da bi bila superinteligenca popolnoma varna, z njo ne bi smelo biti nobene komunikacije, vendar je tveganje za komunikacijo z AI mogoče zmanjšati in razvili smo ustrezen protokol. V tem razdelku ga ponujamo v jasni, formalizirani obliki. Ta komunikacijski protokol otežuje dostop nadinteligenti do našega sveta, hkrati pa omogoča AI vir koristnega znanja za človeštvo.
Prejšnji razdelki tega članka so pokazali, da je odprt kanal komunikacije s superinteligenco zelo nevaren. Z uporabo AI za odgovor na odprta vprašanja tvegamo napade socialnega inženiringa in vrsto drugih motenj. Protokol, ki ga predlagamo, temelji na ideji postavljanja AI "varnih vprašanj" z omejenimi odgovori. Varno bomo poklicali vprašanje, odgovor na katerega lahko človek brez kakršne koli pomoči super inteligence najde, popolnoma neodvisno. Kakšna je korist tukaj? Predpostavimo, da znanstvenik, ki dela na drogu proti raku, razmišlja o dveh načinih zdravljenja. Vsakega od njih je mogoče razviti in preizkusiti brez pomoči AI, vendar bo za to potrebnih približno tri leta trdega dela. Kateri način za razvoj v prvi vrsti,če se obe možnosti zdita enako obetavni? Z napačno izbiro bo človeštvo dobilo zdravilo za raka čez 6 let, s pravo izbiro - 3 leta prej. Zakaj ne bi zahtevali AI, da se odloči za osebo?
Vprašanje AI o najboljšem zdravljenju je varno iz treh razlogov. Prvič, eden od možnih odgovorov se lahko izkaže za pravilnega z enako verjetnostjo kot drugi. Drugič, človek lahko na to vprašanje odgovori sam, brez pomoči AI, povezovanje slednjega pa bo le pospešilo razvoj onkologije, nikakor pa ne bo spremenilo rezultata, ki ga je treba pridobiti. Dejansko bo AI, ki si bo odgovorila na to vprašanje, delovala kot uspešna ugibanja, nič več. Končno je odziv mogoče kodirati v enem samem bitju in malo verjetno je, da bi se v takem odzivu lahko skrila kakšna dodatna sporočila.
Za preizkušanje varnosti nadinteligentnega vprašanja lahko uporabimo skupino strokovnjakov. Strokovnjaki morajo biti usposobljeni strokovnjaki za varnost AI, kar pomeni, da poznajo zasnovo AI in njegove škatle ter najnovejši napredek v etiki strojev (Allen et al. 2006; Anderson & Anderson 2007; Dvorana 2000; Moor 2006; Tonkens 2009). Poleg tega lahko strokovnjaki zahtevajo znanje računalniške psihologije. Te discipline danes ni, verjetno pa se bo pojavila v prihodnosti (Epstein 1997). Artimetrike, ki jih je razvil avtor tega članka, lahko med trenutno veljavnimi disciplinami nudijo največjo pomoč pri usposabljanju strokovnjakov, ki revidirajo varnostna vprašanja za AI. Artimetrije prepozna,klasificira in overja inteligentne agente, robote in avatarje navidezne resničnosti za zagotavljanje varnosti (Yampolsky 2007; Yampolsky in Govindaradzhu, 2008, 2007b; Gavrilova in Yampolsky 2010).
Poudarjam: superinteligenca bi morala postavljati varna vprašanja o verjetnosti, ki jih lahko izračuna človek, z dvema možnima odgovoroma. Vprašati morate prek neinteligentnega vmesnika, naključno in šele potem, ko se strokovnjaki prepričajo v varnost vprašanja. To predstavlja omejen vhodni kanal predlaganega komunikacijskega protokola.
Omejena odhodna lupina je sestavljena iz binarnih (0 ali 1) odgovorov, ki jim sledijo izvirna nespremenjena varnostna vprašanja, ki jih nenameren proxy program naključno predstavi, da prepreči komunikacijo po nepooblaščenem kanalu (čas ali pomnilnik), ki ga je mogoče steganografirati. AI ne sme nikoli nadzorovati AI, zunaj izbirnega menija. 3. nivo uporablja enak izhodni protokol, vendar ne omejuje vhodnega kanala. Ta raven je varna kot četrta v smislu informacij, ki segajo od AI k nam, toda tu je možno, da se bodo naše informacije pretakale na AI.
Verjamemo, da bo naš komunikacijski protokol - in to je mogoče preveriti - zanesljivo varoval pred uhajanjem informacij, tudi če AI pozna njegovo vsebino. S pravilnim izvajanjem tega protokola bo človeštvo izredno plodno uporabljalo storitve nadinteligentnega oraka, AI, ki ga omejuje naš protokol, pa je veliko varnejši od brezplačnega, neomejenega. Splošno pravilo je: če ne želite varnostnih težav, se izogibajte komunikaciji pod UB4.
Znanstveno skupnost želimo opozoriti na dejstvo, da je treba v pogojih nenehnega razvoja temeljne fizike, računalniške tehnologije in znanja o naravi inteligence nenehno izpopolnjevati in razvijati protokol za omejevanje svobode AI. Delo na njem bo vedno potekalo in se nikoli ne bo končalo. V tem članku smo dali natančne opredelitve pojmov "AI omejitev problema", "beg" in "varna vprašanja". Prav tako bi radi predlagali nekaj dodatnih pogojev, ki bi lahko bili koristni za poenostavitev razprav o POLOŽAJU. AI zaprt prostor lahko imenujemo JAIL (Samo za lokacijo AI), sam superinteligenten AI pa lahko imenujemo SING (Super Intelligent Gizmo - Superintelligent Gizmo). Izraz "SING" se nanaša tako na SINGularity kot na zloglasni zapor Sing Sing.olajša spomin.
Na koncu bi radi predstavili vizualni simbol za polje, ki vsebuje nevarni obveščevalni program (slika 1, skrajno desno). Takšni simboli se lahko namestijo v bližini različnih JAIL, da opozorijo na nevarnost. Znak za polje AI je zasnovan po analogiji z znaki za biološko nevarnost, sevanje in magnetno polje. Sestavljen je iz simbola "@", zaprtega v trikotniku, kar je dobro znano v industriji računalništva in informacijske tehnologije. Ta simbol, ki pomeni "lociran na naslovu", je prisoten na vseh tipkovnicah, zato je njegovo sprejemanje zelo stroškovno učinkovito.
Slika: 1. Simboli nevarnosti od leve proti desni: biološka nevarnost, sevanje, magnetno polje in AI polje.
5. Sklepi in delo v prihodnosti
Omejevanje dostopa superinteligentnih strojev do resničnega sveta je rešitev varnostne težave AI, ki nikakor ni nenavadna. Superinteligenca ni vsemogočna. Gre za program, ki je sposoben preučiti vse odločitve v dani situaciji in vsakemu dati pravilno oceno. Ko se AI postavi v situacijo, ko ni nobene izbire ali pa je omejena na možnosti z izjemno majhnimi možnostmi za uspeh, in superinteligenca bo agent, ki nima več moči kot katera koli druga. Očitno je, da se lahko AI z neomejenim kanalom komunikacije zlahka izogne, toda nadčloveška inteligenca, ki bo prisiljena komunicirati po filtriranem komunikacijskem kanalu, se bo morala trdo potruditi.
V tem članku smo podali natančno opredelitev problema omejevanja svobode AI in predlagali sklop pravil, namenjenih ustvarjanju takšnega prostora, ki bi bil AI izredno težaven pobeg ali vsaj trajalo veliko časa. Naša predlagana rešitev ni popolnoma varna, vendar pomembno prispeva k zbiranju varnostnih metod. Tukaj je tako kot v pravih zaporih: čeprav je pobeg iz njih mogoč, jim še vedno uspe izpolniti nalogo, ki jim je bila zaupana, da neželene subjekte držijo stran od družbe. Takoj, ko imamo v mislih »neznane neznance« in se spomnimo na dosegljivost absolutne varnosti, lahko ugotovimo, da je protokol omejevanja AI natančno orodje, ki ga mora človeštvo odgovorno uporabiti Singularnost, ko vstopi v našo resničnost.
Omejitev svobode AI lahko za kratek čas olajša varno upravljanje resnično inteligentnih strojev, zlasti v zgodnjih fazah njihovega razvoja. Poleg tega je po našem mnenju to podpolje raziskovanja singularnosti eden glavnih kandidatov za priznanje svetovne znanstvene skupnosti, saj so raziskave računalniške in omrežne varnosti, steganografije, računalniških virusov, prikritih komunikacijskih kanalov, šifriranja in kibernetske vojne dobro financirane. in so široko objavljeni v uglednih znanstvenih revijah. In čeprav metodologije omejevanja svobode sploh ni enostavno izvajati, lahko zagotavlja varnost človeštva za nekaj časa, dokler se ne pojavi kakšno boljše orodje.
V tem članku zaradi omejenega prostora nismo zastavljali številnih relevantnih filozofskih vprašanj. Upoštevali jih bomo v bližnji prihodnosti, zdaj pa bomo dali le kratek seznam. Kateri AI bo padel v polje: ki ga je razvil človek ali izvlekel iz signala, prestreženega med izvajanjem projekta "SETI" ("Iskanje zunajzemeljske inteligence" - "Iskanje nezemeljske inteligence")? Ali bo AI raztrgan na svobodo ali bo morda štel za srečo živeti v omejenem prostoru? Ali lahko resno prestrašite AI s kaznijo zaradi poskusa teka? Kakšna so etična pravila za zapiranje nedolžnega umetnega inteligentnega bitja? Ali imamo pravico, da ga izklopimo, kar je v bistvu umor? Se bo AI razjezil na našo sovražnost do njega in jo zaprl v škatlo? Se bo poskusil maščevatiče pobegne? Poleg tega bi morali razmisliti o težavi človeške odvisnosti od priporočil AI na vseh področjih znanosti, ekonomije, medicine, politike itd., Pa tudi, kako lahko ta odvisnost vpliva na našo sposobnost, da AI imamo pod nadzorom. Ali bo AI zadovoljil z doseganjem svojih ciljev v omejenem prostoru, kot je simulacija uspešnega pobega? Kako kaznovati AI, če nam namerno daje napačne odgovore? Ali je mogoče ločiti intelektualni modul AI od prostora, v katerem je zaprt, in s tem zavirati samoanalizo superinteligence in jo potisniti na pot dobesednega iskanja duše? Končno še nismo poskušali analizirati finančnih in računskih stroškov ustvarjanja primernega zaprtega prostora, kjer se izvaja celovita simulacija sveta.razmisliti moramo o problemu pojava človeške odvisnosti od priporočil AI na vseh področjih znanosti, ekonomije, medicine, politike itd. in kako lahko ta odvisnost vpliva na našo sposobnost, da AI imamo pod nadzorom. Ali bo AI zadovoljil z doseganjem svojih ciljev v omejenem prostoru, kot je simulacija uspešnega pobega? Kako kaznovati AI, če nam namerno daje napačne odgovore? Ali je mogoče ločiti intelektualni modul AI od prostora, v katerem je zaprt, in s tem zavirati samoanalizo superinteligence in jo potisniti na pot dobesednega iskanja duše? Končno še nismo poskušali analizirati finančnih in računskih stroškov ustvarjanja primernega zaprtega prostora, kjer se izvaja celovita simulacija sveta.razmisliti moramo o problemu pojava človeške odvisnosti od priporočil AI na vseh področjih znanosti, ekonomije, medicine, politike itd. in kako lahko ta odvisnost vpliva na našo sposobnost, da AI imamo pod nadzorom. Ali bo AI zadovoljil z doseganjem svojih ciljev v omejenem prostoru, kot je simulacija uspešnega pobega? Kako kaznovati AI, če nam namerno daje napačne odgovore? Ali je mogoče ločiti intelektualni modul AI od prostora, v katerem je zaprt, in s tem zavirati samoanalizo superinteligence in jo potisniti na pot dobesednega iskanja duše? Končno še nismo poskušali analizirati finančnih in računskih stroškov ustvarjanja primernega zaprtega prostora, kjer se izvaja celovita simulacija sveta.
Avtor: Roman Yampolsky. Prevod: Aleksander Gorlov