Categories
Uncategorized

Kako najbolje iskoristiti najvažniji vek?

Prethodno sam u /serijalu o „najvažnijem veku“/ tvrdio da postoji velika verovatnoća (1) da će naredne decenije doneti:

  • Razvoj tehnologije kao što je /PASTA/ (proces za automatizaciju naučnog i tehnološkog napretka).

  • /Eksploziju produktivnosti/ koja vodi razvoju daljih transformativnih tehnologija.

  • /Seme stabilne galaktičke civilizacije/, verovatno sa digitalnim ljudima, ili možda vođenom /neusklađenom veštačkom inteligencijom/. 

Da li je ovo optimističan pogled na svet ili pesimističan? Za mene je i jedno i drugo, jer bi ovaj niz događaja mogao da bude veoma dobar ili veoma loš za svet, u zavisnosti od detalja kako se odigra.

Kada govorim o tome da smo u „najvažnijem veku“, ne mislim samo na to da će se desiti značajni događaji. Mislim da mi, ljudi koji žive u ovom veku, imamo šansu da imamo veliki uticaj na ogroman broj ljudi koji dolaze – ako možemo da dovoljno dobro razumemo situaciju da iznađemo korisne akcije.

Ali takođe je važno razumeti zašto je to veliko „ako“ – zašto najvažniji vek predstavlja izazovnu stratešku sliku, tako da mnoge stvari koje možemo da uradimo mogu da poboljšaju ili pogoršaju stvari (a teško je reći koje od ta dva).

U ovom članku ću predstaviti dva suprotstavljena okvira razmišljanja o tome kako da najbolje iskoristite najvažniji vek:

  • Okvir “Oprez“. U ovom okviru, mnogi od najgorih ishoda dolaze iz razvijanja nečega poput /PASTA/ na način koji je prebrz, prenagljen ili nepromišljen. Možda ćemo morati da postignemo (verovatno globalnu) koordinaciju kako bismo ublažili pritiske na trku i pružili odgovarajuću negu. (/Oprez/)

  • Okvir “Konkurencija“. Ovaj okvir se ne fokusira na to kako i kada će se /PASTA/ razviti, već ko (koje vlade, koje kompanije, itd.) je prvi koji će imati koristi od rezultirajuće eksplozije produktivnosti. (/Konkurencija/)

  • Ljudi koji uzimaju okvir „oprez“ i ljudi koji uzimaju okvir „konkurencije“ često favorizuju veoma različite, čak i kontradiktorne akcije. Radnje koje ljudima u jednom okviru izgledaju važne često izgledaju kao jasno štetne ljudima u drugom.

  • Brinem se da će okvir “konkurencije“ biti podrazumevano precenjen, a u nastavku razmatram i zašto. (/Više/)

  • Da bismo dobili više jasnoće o tome kako da odmerimo ove okvire i koje radnje će najverovatnije biti od pomoći, potrebno nam je više napretka u pogledu otvorenih pitanja o razmeri različitih vrsta rizika od transformativne veštačke inteligencije. (/otvorena pitanja/)

  • U međuvremenu, postoje neke jasne korisne akcije za koje se čini da će, bez obzira na sve, poboljšati izglede čovečanstva. (Veoma korisne radnje)

Okvir „oprez“

Zagovarao sam dobre šanse da će u ovom veku doći do tranzicije u svet u kome su /digitalni ljudi/ ili /neusklađena veštačka inteligencija/ (ili nešto drugo veoma različito od današnjih ljudi) glavna sila u svetskim događajima. 

Okvir „oprez“ naglašava da neke tranzicije izgledaju bolje od drugih. Navedeno po redosledu od najgore do najbolje:

Najgora: Neusklađena VI

/Ranije/ sam raspravljao o ovoj mogućnosti, oslanjajući se na niz drugih, detaljnijih diskusija. (2) Osnovna ideja je da sistemi veštačke inteligencije mogu da imaju sopstvene ciljeve i da traže da se prošire kroz svemir ispunjavajući te ciljeve. Ljudi, i/ili sve što ljudi vrednuju, moglo bi biti gurnuti u stranu (ili bismo mogli izumreti, ako bismo stali na put).

Sledeća najgora: (3) Konkurentna tehnološka zrelost

Ako dođemo do tačke u kojoj postoje digitalni ljudi i/ili (ne-neusklađene) veštačke inteligencije koje mogu da se kopiraju bez ograničenja, i da se šire kroz prostor, možda će postojati intenzivan pritisak da se kreću – i umnožavaju (putem kopiranja) – što je brže moguće kako bi stekli veći uticaj u svetu. To bi moglo dovesti do toga da različite zemlje/koalicije frenetično pokušavaju da nadmaše jedna drugu i/ili do otvorenog vojnog sukoba, znajući da bi mnogo toga moglo biti u pitanju za kratko vrijeme.

Očekivao bih da ovakva dinamika rizikuje da većina galaksije završi u lošem stanju. (4)

Jedno takvo loše stanje bi bilo „trajno bivanje pod kontrolom jedne (digitalne) osobe (i/ili njenih kopija)“. Zbog potencijala digitalnih ljudi da stvore /stabilne civilizacije/, čini se da bi dati totalitarni režim mogao postane trajno ukorenjen u značajnim delovima galaksije.

Ljudi/zemlje/koalicije koji sumnjaju jedni na druge da predstavljaju ovu vrstu opasnosti – potencijalnog uspostavljanja stabilnih civilizacija pod sopstvenom kontrolom – mogli bi da se takmiče i/ili napadaju jedni druge u ranoj fazi kako bi to sprečili. Ovo bi moglo dovesti do rata sa teško predvidljivim ishodima (zbog teško predvidivog tehnološkog napretka koje bi PASTA mogla da donese).

Druga najbolja: Pregovori i upravljanje

Zemlje bi mogle da spreče ovu vrstu /dinamike tehnološke zrelosti/ u sukobu tako što će planirati unapred i međusobno pregovarati. Na primer, možda bi svakoj zemlji – ili svakoj osobi – moglo biti dozvoljeno da stvori određeni broj digitalnih ljudi (koji bi bili podložni zaštiti ljudskih prava i drugim propisima), koji bi bili ograničeni na određeni region svemira.

Čini se da ovde postoji ogroman spektar različitih potencijalnih specifičnosti, neke su mnogo bolje i pravednije od drugih.

Najbolja: Refleksija

Svet bi mogao da postigne dovoljno visok nivo koordinacije da odloži sve nepovratne korake (uključujući pokretanje dinamike /konkurentne tehnološke zrelosti/).

Tada bi moglo postojati nešto poput onoga što Tobi Ord (u Provaliji) naziva „Dugo promišljanje“: (5) dugotrajan period u kome bi ljudi mogli kolektivno da odlučuju o ciljevima i planovima za budućnost, idealno predstavljajući najpravičniji dostupni kompromis između različitih perspektiva. Zamislivo je da bi napredna tehnologija mogla da pomogne da ovo prođe mnogo bolje nego što je to moguće danas. (6)

Postoji nebrojeno mnogo pitanja o tome kako bi takva „refleksija“ funkcionisala i da li zaista ima nade da bi ona mogla postići razumno dobar i pošten ishod. Detalji poput „koje vrste digitalnih ljudi se prvo stvaraju“ mogu biti izuzetno važni. Trenutno se malo raspravlja o ovakvim temama. (7)

Ostala

Verovatno postoji mnogo mogućih tipova prelaza koje ovde nisam naveo.

Uloga opreza

Ako je gornji redosled tačan, onda budućnost galaksije izgleda bolje u meri u kojoj:

  • Se izbegava /neusklađena VI/: moćni sistemi veštačke inteligencije služe da pomognu ljudima, a ne da slede sopstvene ciljeve.

  • Izbegava se /konkurentna tehnološka zrelost/. To verovatno znači da ljudi ne primenjuju napredne VI sisteme, ili tehnologije koje bi mogli da donesu, na konfliktne načine (osim ako to nije neophodno da bi se sprečilo nešto gore).

  • Postiže se dovoljno koordinacije tako da ključni igrači mogu da /“postupaju polako“/, a /Refleksija/ postaje mogućnost.

U idealnom slučaju, svako ko ima potencijal da napravi nešto slično PASTA bi mogao da uloži energiju u izgradnju nečeg bezbednog (ne neusklađenog) i pažljivo planira (i pregovara sa drugima o tome) kako da to uvede, bez žurbe ili trke. Imajući ovo na umu, možda bi trebalo da radimo stvari kao što su:

  • Rad na poboljšanju poverenja i saradnje između velikih svetskih sila. Možda preko verzija Pugwash-a koje su usredsređene na VI (međunarodna konferencija koja ima za cilj smanjenje rizika od vojnog sukoba), možda odgovaranjem od agresivnih poteza u spoljnim odnosima.

  • Obeshrabrivanje vlada i investitora da ulože novac u istraživanje veštačke inteligencije, podsticanje VI laboratorija da temeljno razmotre implikacije svojih istraživanja pre nego što ga objave ili /uvećaju/, itd. Usporavanje stvari na ovaj način moglo bi da kupi više vremena za istraživanje o izbegavanju /neusklađene VI/, više vremena za izgradnju mehanizama poverenja i saradnje, više vremena da se uopšteno postigne strateška jasnoća i manja verovatnoća /dinamike konfliktne tehnološke zrelosti/.

Okvir „konkurencija“

(Napomena: postoji određena mogućnost zabune između ideje „konkurencije“ i ideje o /konkurentskoj tehnološkoj zrelosti/, pa sam pokušao da koristim veoma različite termine. Kontrast sam prikazao u fusnoti. (8)

Okvir „konkurencije“ se fokusira manje na to kako se dešava tranzicija u radikalno drugačiju budućnost, a više na to ko donosi ključne odluke dok se to dešava.

  • Ako se nešto poput /PASTA/ razvija prvenstveno (ili prvo) u zemlji X, onda bi vlada zemlje X mogla da donosi mnogo ključnih odluka o tome da li i kako da reguliše potencijalnu eksploziju novih tehnologija.

  • Pored toga, ljudi i organizacije koje u to vreme prednjače na polju veštačke inteligencije i drugih tehnologija mogle bi biti posebno uticajne u takvim odlukama.

To znači da bi moglo biti od velike važnosti „ko vodi put transformativne veštačke inteligencije“ – koja zemlja ili zemlje, koji ljudi ili organizacije.

  • Da li će vlade koje vode put transformativnoj veštačkoj inteligenciji biti autoritarni režimi?

  • Koje vlade će najverovatnije imati razumno razumevanje rizika i uloga, kada donose ključne odluke?

  • Koje vlade će najmanje pokušati da koriste naprednu tehnologiju za učvršćivanje moći i dominacije jedne grupe? (Nažalost, ne mogu da kažem da postoje neki koje favorizujem ovde.) Koje od njih će najverovatnije ostaviti otvorenu mogućnost za nešto poput “izbegavanja učvršćenih ishoda, ostavljajući vremena za opšti globalni napredak kako bi se povećale šanse za dobar ishod za što veći broj ljudi?”

  • Slična pitanja se odnose na ljude i organizacije koje predvode napore za razvoj transformativne VI. Koji će najverovatnije pomerati stvari u pozitivnom smeru?

Neki ljudi smatraju da danas možemo da damo pouzdane izjave o tome koje konkretne zemlje, i/ili koji ljudi i organizacije, želimo da vode put transformativnoj veštačkoj inteligenciji. Ovi ljudi bi mogli da se zalažu za akcije kao što su:

  • Povećanje izgleda da su prvi PASTA sistemi izgrađeni u zemljama koje su npr. manje autoritaran, što bi moglo značiti npr. zalaganje za više ulaganja i interesa za razvoj veštačke inteligencije u ovim zemljama.

  • Podrška i pokušaj da se ubrzaju laboratorije veštačke inteligencije koje vode ljudi za koje je verovatno da će doneti mudre odluke (o stvarima kao što su kako da se odnose sa vladama, koje sisteme veštačke inteligencije objaviti i primeniti a koje čuvati kao tajnu, itd.)

Zašto se bojim da će “konkurencija“ biti precenjena, u odnosu na “oprez“ 

Naravno, očekujem da će mnogi ljudi gravitirati ka okviru „konkurencija“ umesto okvira „oprez“ – iz razloga za koje mislim da nisu sjajni, kao na primer:

  • Mislim da se ljudi prirodno više animiraju u „pomaganju dobrim momcima da pobede loše momke” nego u „pomaganju svima nama da izbegnemo univerzalno loš ishod, iz bezličnih razloga kao što su „dizajnirali smo traljave VI sisteme” ili „stvorili smo dinamiku u kojoj se žurba i agresija nagrađuju.’”

  • Očekujem da će ljudi biti preterano samouvereni u pogledu toga koje zemlje, organizacije ili ljude vide kao „dobre momke“.

  • Prihvatanje okvira „konkurencija“ ima tendenciju da ukaže na preduzimanje radnji – kao što je rad na ubrzanju razvoja veštačke inteligencije određene zemlje ili organizacije – koje su unosne, uzbudljive i za koje je prirodno lako osetiti energiju. Prihvatanje okvira „oprez“ nije takvo.

  • Najveće brige na koje se okvir „oprez“ fokusira – /neusklađena veštačka inteligencija/ i /konkurentna tehnološka zrelost/ – pomalo su apstraktne i teško ih je zamisliti. Na mnogo načina se čini da su to rizici sa najvećim ulozima, ali lakše je biti refleksno uplašen “zaostajanja za zemljama/organizacijama/ljudima koji me plaše” nego biti refleksno uplašen od nečega poput “Doći će do lošeg ishoda na duže staze u budućnosti galaksije jer smo zbrzali stvari ovog veka.”

  • Mislim da je /neusklađena VI/ posebno težak rizik za mnoge koji treba da shvate ozbiljno. Zvuči otkačeno i kao naučna fantastika; ljudi koji brinu o tome obično se tumače kao da predstavljaju nešto poput Terminatora, i može biti teško razumeti njihove detaljnije brige.

  • Nadam se da ću u budućnosti objavljivati više članaka koji će pomoći da se stvori intuitivni osećaj zašto mislim da je neusklađena veštačka inteligencija pravi rizik.

Dakle, da ne bi bilo sumnje, reći ću da mislim da okvir “oprez“ ima mnogo prednosti. Konkretno, /neusklađena veštačka inteligencija/ i /konkurentna tehnološka zrelost/ izgledaju mnogo gore od drugih potencijalnih tipova tranzicije, i obe deluju kao stvari koje imaju realne šanse da čitavu budućnost naše vrste (i naslednika) učine mnogo gorom nego što bi ona mogla biti.

Brinem se da će preveliki deo okvira „konkurencija“ dovesti do umanjivanja rizika od neusklađenosti i žurbe sa upotrebom nesigurnih, nepredvidivih sistema, što bi moglo imati mnoge negativne posledice.

Uz to, dao sam ozbiljnu težinu obema okvirima. Ostajem prilično nesiguran, u načelu, po pitanju toga koji okvir je važniji i korisniji (ako i jedan jeste).

Ključna otvorena pitanja za “oprez“ naspram “konkurencija“ 

Ljudi koji preuzimaju okvir “oprez“ i ljudi koji preuzimaju okvir “konkurencija“ često favorizuju veoma različite, čak i kontradiktorne postupke. Radnje koje ljudima u jednom okviru izgledaju važne često izgledaju jasno štetne za ljude u drugom.

Na primer, ljudi u okviru „konkurencija“ često favorizuju što je brže moguće napredovanje u razvoju moćnih sistema veštačke inteligencije; za ljude u okviru „oprez“, žurba je jedna od glavnih stvari koje treba izbegavati. Ljudi u okviru „konkurencija“ često favorizuju konfliktne spoljne odnose, dok ljudi u okviru „oprez“ često žele da spoljni odnosi budu više kooperativni.

(Ipak, ova dihotomija je pojednostavljenje. Mnogi ljudi – uključujući mene – rezonuju sa oba okvira. I bilo koji okvir bi mogao da implicira radnje koje su obično povezane sa drugim; na primer, možete uzeti okvir „oprez“, ali smatrate da je žurba potrebna sada da bi se uspostavila jedna zemlja sa dovoljno jasnim vođstvom u VI da bi onda mogla da posveti vreme, prioritetizuje izbegavanje /neusklađene veštačke inteligencije/, itd.)

Voleo bih da mogu sa sigurnošću da vam kažem koliko težine da pridate svakom okviru i koje radnje će najverovatnije biti od pomoći. Ali ne mogu. Mislim da bismo imali više jasnoće kada bismo imali bolje odgovore na neka ključna otvorena pitanja:

Otvoreno pitanje: koliko je težak problem usklađivanja?

Put u budućnost koja se čini najgorom je neusklađena veštačka inteligencija, u kojoj sistemi veštačke inteligencije imaju sopstvene ciljeve koji nisu kompatibilni sa ljudima i pokušavaju da osvoje galaksiju u skladu sa tim ciljevima. Koliko ozbiljno treba da shvatimo ovaj rizik – koliko će biti teško izbeći ovaj ishod? Koliko će biti teško rešiti „problem usklađivanja“, što u suštini znači imati tehničku sposobnost za pravljenje sistema koji neće ovo uraditi? (9)

  • Neki ljudi veruju da će problem usklađivanja biti ogroman; da je naša jedina nada da ćemo to rešiti dolazi svet u kojem imamo ogromnu količinu vremena i nismo u trci da primenimo naprednu veštačku inteligenciju; i da bi izbegavanje ishoda „pogrešne veštačke inteligencije“ trebalo da bude ubedljivo dominantna tema za razmatranje u najvažnijem veku. Ovi ljudi imaju tendenciju da u velikoj meri favorizuju „oprez“ intervencije koje su gore opisane: veruju da žurba ka razvoju veštačke inteligencije povećava naš ionako značajan rizik od najgoreg mogućeg ishoda.

  • Neki ljudi veruju da će sve biti lako i/ili da je cela ideja o “neusklađenoj VI“ pogrešna, glupa ili čak nekoherentna – planiranje za previše specifičan budući događaj. Ovi ljudi su često više zainteresovani za gore opisane „konkurencija“ intervencije: veruju da će naprednu veštačku inteligenciju verovatno efikasno koristiti bilo koja zemlja (ili u nekim slučajevima manja koalicija ili kompanija) koja je prva razvije, pa je glavno pitanje ko će je prvi razviti.

  • Mnogi ljudi su negde između ova dva.

/Raspodela je ovde ekstremna/. Na primer, pogledajte ove rezultate iz neformalne “ankete sa dva pitanja upućenoj ~117 ljudi koji rade na dugoročnom VI riziku, koja postavlja pitanje o nivou egzistencijalnog rizika od „čovječanstva koje ne sprovodi dovoljno tehničkog istraživanja o bezbednosti VI“ i od „ Sistemi veštačke inteligencije ne rade/optimizuju ono što su ljudi koji ih postavljaju hteli/nameravali.” (Kao što dijagram rasejanja pokazuje, ljudi su dali slične odgovore na dva pitanja.)

Imamo ispitanike koji misle da postoji <5% šanse da će problemi sa usklađivanjem drastično smanjiti dobar ishod u budućnosti; ispitanici koji misle da postoji >95% šanse; i skoro sve brojke između. (10) Osećam da je ovo pošten prikaz situacije: čak i među nekolicinom ljudi koji su proveli najviše vremena razmišljajući o ovim stvarima, praktično nema konsenzusa ili saglasja o tome koliko će problem usklađivanja biti težak.

Nadam se da će vremenom broj ljudi koji istražuju usklađivanje VI (11) rasti, a kako istraživanja VI i usklađivanja VI budu napredovala, dobićemo jasnoću o težini problema usklađivanja VI. Ovo bi, zauzvrat, moglo dati više jasnoće u određivanju prioriteta između “oprez“ i “konkurencija“ okvira.

Ostala otvorena pitanja

Čak i kada bismo imali jasnoću o težini problema usklađivanja, ostalo bi mnogo problematičnih pitanja.

Da li treba da očekujemo transformativnu veštačku inteligenciju u narednih 10-20 godina ili mnogo kasnije? Da li će vodeći sistemi veštačke inteligencije doći od veoma ograničenih do veoma sposobnih brzo (“teško uzletanje”) ili postepeno (“sporo uzletanje”) (12)? Treba li se nadati da će vladini projekti igrati glavnu ulogu u razvoju VI ili da će transformativna VI prvenstveno proizlaći iz privatnog sektora? Da li je veća verovatnoća da će neke vlade raditi na tome da se transformativna veštačka inteligencija koristi pažljivo, inkluzivno i humano? Šta da se nadamo da će vlada (ili kompanija) bukvalno uraditi ako dođe u poziciju da dramatično ubrza naučni i tehnološki napredak putem veštačke inteligencije?

Imajući na umu ova i druga pitanja, često je veoma teško sagledati neki postupak – kao što je otvaranje nove laboratorije VI, zalaganje za više opreza i zaštitnih mera u današnjem razvoju veštačke inteligencije, itd. – i reći da li to povećava verovatnoću dobrih dugoročnih rezultata.

Jasno korisne akcije

Uprkos ovom stanju neizvesnosti, evo nekoliko stvari za koje se čini da je vredno uraditi danas:

Tehničko istraživanje problema usklađivanja. Neki istraživači rade na izgradnji VI sistema koji mogu da dobiju “bolje rezultate“ (pobede u više društvenih igara, pravilno klasifikuju više slika, itd.) Ali manji skup istraživača radi na stvarima kao što su:

  • Teorijski rad o tome kako sistem veštačke inteligencije može biti veoma napredan, ali ne i nepredvidiv na pogrešne načine.

Ova vrsta rada bi mogla da umanji rizik od ishoda /neusklađene VI/ – i/ili da više rasvetli koliko je to velika pretnja. Neki se odvijaju u akademskim krugovima, neki u laboratorijama VI, a neki u specijalizovanim organizacijama. 

Težnja za strateškom jasnoćom: istraživanje koje bi moglo da odgovori na druga ključna pitanja (kao što su ona /gore/ navedena), kako bi se razjasnilo koje vrste trenutnih akcija izgledaju najkorisnije.

Pomaganje vladama i društvima da postanu, pa, bolja. Pomaganje državi X da bude ispred drugih u razvoju veštačke inteligencije moglo bi da poboljša ili pogorša stvari, iz gore navedenih razloga. Ali čini se da je jako dobro raditi ka zemlji X sa boljim, inkluzivnijim vrednostima i vladom čiji će ključni donosioci odluka imati veće šanse da donose promišljene odluke zasnovane na dobrim vrednostima.

Širenje ideja i izgradnja zajednica. Danas mi se čini da je u svetu izuzetno malo ljudi koji dele određena osnovna očekivanja i brige, kao što su:

  • Vera da bi istraživanje veštačke inteligencije moglo da dovede do brzih, radikalnih promena /kakve su ovde izložene/ (daleko ekstremnijih od stvari kao što je, na primer, povećanje nezaposlenosti).

  • Verovanje da je problem usklađivanja (koji je /gore/ razmatran) u najmanju ruku verovatno razumna briga i ozbiljno shvatanje /okvira „oprez“/.

  • Gledajući na celu situaciju kroz „Hajde da postignemo najbolji mogući ishod za ceo svet u dugoj budućnosti“ naočare, za razliku od uobičajenih pogleda kao što su „Hajde da pokušamo da zaradimo novac“ ili „Hajde da pokušamo da obezbedimo da moja zemlja vodi svet u istraživanju veštačke inteligencije.”

Mislim da je veoma vredno da ima više ljudi sa ovim osnovnim pogledom, posebno koji rade za VI laboratorije i vlade. Ako i kada budemo imali više strateške jasnoće o tome koje akcije bi mogle povećati izglede da “najvažniji vek“ prođe dobro, očekujem da će takvi ljudi biti u relativno dobroj poziciji da budu od pomoći.

Brojne organizacije i ljudi su radili na tome da izlože ljude gorenavedenom pogledu i pomognu im da upoznaju druge koji to gledište dele. Mislim da je dobar napredak (u smislu rastućih zajednica) proizašao iz ovoga.

Donacije? Danas se može donirati ovakvim fondovima. Ali moram da priznam da veoma široko govoreći, trenutno nema lakog prevoda “novca“ u “poboljšanja izgleda da najvažniji vek prođe dobro“. Nije slučaj da ako neko jednostavno pošalje, recimo, milijardu dolara na pravo mesto, bismo svi mogli da odahnemo o izazovima kao što su problem usklađivanja i /rizici digitalne distopije/.

Čini mi se da nama – kao vrsti – trenutno užasno nedostaje ljudi koji obraćaju imalo pažnje na najvažnije izazove koji su pred nama. Pored toga, nismo uradili ono što je potrebno da bismo imali stratešku jasnoću o tome koje konkretne korake treba preduzeti. Ne možemo da rešimo ovaj problem bacanjem novca na njega. (13) Prvo ga moramo shvatiti ozbiljnije i bolje razumeti.


1  Iz /Predviđanja transformativne VI: Šta je teret dokaza?/: „Predviđam više od 10% šanse da će transformativna VI biti razvijena u roku od 15 godina (do 2036.); ~50% šanse da će se razviti u roku od 40 godina (do 2060.); i ~2/3 šanse da će se razviti u ovom veku (do 2100. godine).“

Takođe vidi /Neke dodatne detalje o tome šta mislim pod „najvažnijim vekom“./

2 Ovde uključujem knjige Superinteligence, Human Compatible, Life 3.0 i The Alignment Problem. Najkraća i najpristupačnija prezentacija za koju znam je Argument za ozbiljno shvatanje veštačke inteligencije kao pretnje čovečanstvu (Vox članak Kelsi Pajper). Ovaj izveštaj o egzistencijalnom riziku od veštačke inteligencije koja traži moć, Džoa Karlsmita iz Open Philanthropy, izlaže detaljan skup premisa koje bi zajedno nagovestile da je problem ozbiljan.
3 Ovaj poredak nije apsolutan, naravno. Postoje verzije „suparničke tehnološke zrelosti“ koje bi mogle biti gore od „neusklađene veštačke inteligencije“ – na primer, ako prva rezultira time da moć ide onima koji namerno nanose patnju.
4 Deo razloga za to je taj što bi uključene strane koje su žustrije i manje pažljive mogle da na kraju brzo nadmaše druge i određuju budućnost galaksije. Postoji i dugoročni rizik o kojem se govori u Budućnosti ljudske evolucije Nika Bostroma; takođe pogledajte ovu diskusiju o Bostromovim idejama na Slate Star Codex-u, a pogledajte takođe i ovaj članak Karla Šulmana koji tvrdi da je malo verovatno da će ova dinamika dovesti do potpunog eliminisanja lepih stvari.
5 Vidi stranu 191.
6 Na primer, pogledajte /ovaj odeljak/ članka /Digitalni ljudi bili bi još veća stvar./
7 Jedan relevantan rad: Javna politika i superinteligentna VI: pristup vektorskog polja od Bostroma, Dafoa i Flina.
8 /Konkurentna tehnološka zrelost/ se odnosi na svet u kojem je već razvijena visoko napredna tehnologija, verovatno uz pomoć veštačke inteligencije, a različite koalicije se bore za uticaj na svet. Nasuprot tome, “Konkurencija“ se odnosi na strategiju kako se ponašati pre razvoja napredne VI. Možemo zamisliti svet u kojem neka vlada ili koalicija preuzima okvir „takmičenja“, razvija naprednu veštačku inteligenciju mnogo pre drugih, a zatim donosi niz dobrih odluka koje sprečavaju konkurentnu tehnološku zrelost. (Ili obratno, svet u kome neuspeh u “trci“ povećava rizik od konkurentne tehnološke zrelosti.)
9 Pogledajte definicije ovog problema na Vikipediji i Medijumu Pola Kristijana.
10 Detaljnije, privatno istraživanje urađeno za ovaj izveštaj, koje je postavljalo pitanje o verovatnoći “propasti“ pre 2070. godine uzrokovane vrstom problema o kojoj se govori u izveštaju, dobilo je odgovore u rasponu od <1% do >50%. Po mom mišljenju, ima veoma promišljenih ljudi koji su ozbiljno razmotrili ove stvari na oba kraja tog raspona.
11 Neki primeri tehničkih tema mogu se naći ovde.
12 Neke diskusije o ovoj temi ovde: Razlikovanje definicija “poletanja” – AI Alignment Forum.
13 Još malo razmišljanja o tome “kada novac nije dovoljan“ možete naći u ovom starom članku GiveWell-a.