Argument za smanjenje egzistencijalnih rizika

Autor Bendžamin Tod · Objavljeno u oktobru 2017. · Poslednji put ažurirano u junu 2022.

Godine 1939, Ajnštajn je pisao Ruzveltu: 1

Možda je moguće uspostaviti nuklearnu lančanu reakciju u velikoj masi uranijuma… i zamislivo je — iako mnogo manje izvesno — da se tako mogu napraviti izuzetno moćne bombe novog tipa.

Samo nekoliko godina kasnije, ove bombe su stvorene. Za nešto više od jedne decenije proizvedeno je dovoljno da, po prvi put u istoriji, šačica ljudi na pozicijama moći može uništiti civilizaciju.

Čovečanstvo je ušlo u novo doba, u kojem smo se suočili ne samo sa egzistencijalnim rizicima2 našeg prirodnog okruženja, već i sa mogućnošću da se samouništimo.

U ovom novom dobu, šta bi trebalo da bude naš najveći civilizacijski prioritet? Poboljšanje tehnologije? Pomaganje siromašnima? Promena političkog sistema?

Evo jednog predloga o kojem se ne govori tako često: naš prvi prioritet treba da bude da preživimo.

Sve dok civilizacija postoji, imaćemo priliku da rešimo sve naše druge probleme i imamo daleko bolju budućnost. Ali ako izumremo, to je to.

Zašto se o ovom prioritetu više ne razgovara? Evo jednog razloga: mnogi ljudi još uvek ne shvataju koliko se situacija promenila i zato nemojte misliti da je naša budućnost ugrožena.

Istraživač društvenih naukaSpenser Grinberg anketirao je Amerikance o njihovoj proceni šansi za izumiranje ljudi u roku od 50 godina. Rezultati su otkrili da mnogi misle da su šanse izuzetno niske, jer više od 30% anketiranih smatra da su ispod 1 prema 10 miliona.3

I mi smo mislili da su rizici izuzetno mali, ali kada smo istražili stvar, predomislili smo se. Kao što ćemo videti, istraživači koji proučavaju ova pitanja misle da su rizici preko 1.000 puta veći i da se verovatno povećavaju.

Ove ideje su pokrenule novi pokret koji radi na zaštiti civilizacije, kojem su se pridružili Stiven Hoking, Maks Tegmark i novi instituti koje su osnovali istraživači sa Kembridža, MIT-a, Oksforda i drugih.

U ostatku ovog članka pokrivamo najveće rizike za civilizaciju , uključujući i one koji bi mogli biti veći od nuklearnog rata i klimatskih promena. Zatim tvrdimo da bi smanjenje ovih rizika moglo biti najvažnija stvar koju radite u svom životu i objašnjavamo šta tačno možete da uradite da biste pomogli. Ako želite da iskoristite svoju karijeru da biste radili na ovim pitanjima, takođe vam možemo pružiti podršku jedan na jedan.

Vreme čitanja: 25 minuta

Koliko je verovatno da će vas ubiti asteroid? Pregled prirodnih egzistencijalnih pretnji

Šansa od 1 prema 10 miliona za izumiranje u narednih 50 godina – kako mnogi ljudi procenjuju rizik – mora biti da je potcenjena. Prirodne egzistencijalne pretnje mogu se prilično precizno proceniti kad se sagleda istorija i mnogo su veće.

Ako bi Zemlju pogodio asteroid širok kilometar, postoji šansa da bi civilizacija bila uništena. Istražujući istorijske zapise i prateći objekte na nebu, astronomi su procenili rizik da asteroid ove veličine udari u Zemlju na oko 1 prema 5.000 po veku.4 To je veće od šansi većine ljudi da budu u avionskoj nesreći (oko 1 prema 5 miliona po letu), i oko 1000 puta veće od rizika od 1 prema 10 miliona za koji su se neki ljudi opredelili.5

Neki tvrde da iako bi kilometarski objekat bio katastrofa, to ne bi bilo dovoljno da izazove izumiranje, tako da je ovo visoka procena rizika. Ali s druge strane, postoje i drugi prirodni rizici, kao što su supervulkani.6

Sve u svemu, prirodni rizici su i dalje prilično mali u apsolutnom smislu. Predstojeći rad dr Tobija Orda procenjuje da ako saberemo sve prirodne rizike zajedno, malo je verovatno da će šanse za izumiranje biti veće od 1 prema 300 po veku.7

Nažalost, kao što ćemo sada pokazati, prirodni rizici su manji od onih izazvanih ljudskim faktorom. I zato je rizik od izumiranja postao posebno hitno pitanje.

Istorija napretka, sve do početka najopasnije epohe u istoriji čovečanstva

Ako pogledate istoriju kroz milenijume, osnovna poruka je da su dugo skoro svi bili siromašni, a onda se u 18. veku to promenilo.8

Ovo je izazvala industrijska revolucija — možda najvažniji događaj u istoriji.

Nije samo bogatstvo bilo u porastu. Sledeći grafikon pokazuje da su dugoročno, očekivani životni vek, upotreba energije i demokratija brzo rasli, dok se procenat ljudi koji živi u siromaštvu dramatično smanjio.9

Tabela koju je pripremio Luk Mulhauzer 2017.

Stope pismenosti i obrazovanja takođe su dramatično porasle:

Izvor slike.

Čini se da ljudi takođe postaju srećniji kako postaju bogatiji.

U The Better Angels of Our Nature, Stiven Pinker tvrdi da nasilje opada. (Iako naš nedavni podkast sa Bearom Braumolerom – objavljen posle ovog članka – izlaže neke razloge zbog kojih to možda nije slučaj.)

Individualna sloboda je porasla, dok su rasizam, seksizam i homofobija smanjeni.

Mnogi ljudi misle da je svet sve gori 10, i istina je da moderna civilizacija čini neke strašne stvari, kao što je fabrička poljoprivreda. Ali kao što možete videti u podacima, mnoge važne mere napretka su se dramatično poboljšale.

Tačnije, bez obzira šta mislite da se dogodilo u prošlosti, ako gledamo unapred, unapređenje tehnologije, političko organizovanje i sloboda daju našim potomcima potencijal da reše naše trenutne probleme i da imaju mnogo bolje živote 11. Moguće je okončati siromaštvo, sprečiti klimatske promene, ublažiti patnju i još mnogo toga.

Ali obratite pažnju i na ljubičastu liniju na drugom grafikonu: kapacitet za ratovanje. Zasniva se na procenama globalne vojne moći istoričara Iana Morisa, a takođe je dramatično porasla.

Evo pitanja: poboljšanje tehnologije nosi mogućnost enormne dobiti, ali i ogromne rizike.

Svaki put kada otkrijemo novu tehnologiju, ona uglavnom donosi ogromne prednosti. Ali postoji i šansa da otkrijemo tehnologiju takve destruktivne moći da nemamo sposobnosti da je mudro upotrebimo.

I tako, iako sadašnja generacija živi u najprosperitetnijem periodu ljudske istorije, verovatno je on i najopasniji.

Prva destruktivna tehnologija ove vrste bilo je nuklearno oružje.

Nuklearno oružje: istorija promašaja za dlaku

Danas imamo na umu nuklearni program Severne Koreje , ali aktuelni događaji su samo jedno poglavlje u dugoj sagi o promašajima za dlaku.

Nekoliko puta smo bili blizu nuklearnog rata samo tokom Kubanske raketne krize 12. U jednom incidentu, Amerikanci su rešili da ako jedan od njihovih špijunskih aviona bude oboren, oni će odmah napasti Kubu bez daljeg sastanka ratnog saveta. Sutradan je oboren špijunski avion. Kenedi je ipak pozvao veće i odlučio da ne započne invaziju.

Invazija na Kubu bi mogla da izazove nuklearni rat; kasnije se ispostavilo da je Kastro bio za nuklearnu odmazdu čak i ako bi „to dovelo do potpunog uništenja Kube“. Neki od komandanta lansirnih postrojenja na Kubi takođe su imali nezavisna ovlašćenja da gađaju američke snage taktičkim nuklearnim oružjem u slučaju invazije.

U drugom incidentu, ruska nuklearna podmornica pokušavala je da prokrijumčari materijal na Kubu kada ih je otkrila američka flota. Flota je počela da baca lažne dubinske bombe kako bi naterala podmornicu da izroni. Ruski kapetan je mislio da su to prave dubinske bombe i da je, dok su bili odsečeni od radio veze, počeo treći svetski rat. Naredio je nuklearni udar na američku flotu jednim od njihovih nuklearnih torpeda.

Na sreću, trebalo mu je odobrenje drugih viših oficira. Jedan, Vasili Arhipov se nije složio, sprečavajući rat.

Komentarišući ove događaje zajedno, Kenedi je kasnije procenio da su šanse za nuklearni rat bile „između 33% i 50%“. 13

Bilo je mnogo drugih bliskih susreta ove vreste sa Rusijom, čak i posle Hladnog rata, kao što je navedeno na ovoj lepoj stranici Vikipedije. A to su samo oni za koje znamo.

Nuklearni stručnjaci su danas podjednako zabrinuti zbog tenzija između Indije i Pakistana, jer obe strane poseduju nuklearno oružje, kao i Severna Koreja 14.

Ključni problem je što nekoliko zemalja ima velike nuklearne arsenale koji su spremni za upotrebu za nekoliko minuta. To znači da lažna uzbuna ili nesreća mogu brzo eskalirati u potpuni nuklearni rat, posebno u vremenima napetih spoljnih odnosa.

Da li bi nuklearni rat okončao civilizaciju? U početku se mislilo da bi nuklearna eksplozija mogla biti toliko vrela da bi zapalila atmosferu i učinila Zemlju nenastanjivom. Naučnici su procenili da je ovo toliko malo verovatno da se oružje moglo „bezbedno“ testirati, a sada znamo da se to neće dogoditi.

Osamdesetih godina, zabrinutost je bila usmerena na pepeo iz zapaljenih zgrada koji bi mogao gurnuti Zemlju u dugotrajnu zimu koja bi decenijama onemogućila uzgoj useva 15. Savremeni klimatski modeli sugerišu da je nuklearna zima dovoljno jaka da ubije sve sasvim neverovatna, iako je teško biti siguran zbog nesigurnosti modela 16.

Čak i “blaga” nuklearna zima, međutim, može izazvati masovnu glad 17. Iz ovog i drugih razloga, nuklearni rat bi bio izuzetno destabilišući , i nejasno je da li bi civilizacija mogla da se oporavi.

Koliko je verovatno da bi nuklearni rat mogao trajno okončati ljudsku civilizaciju? Veoma je teško proceniti, ali izgleda nam da je teško zaključiti da je šansa za nuklearni rat koji može okončati civilizaciju u sledećem veku nije veća od 0,3%. To bi značilo da su rizici od nuklearnog oružja veći od svih prirodnih rizika zajedno. (Pročitajte više o nuklearnim rizicima .)

Zbog toga su 1950-te označile početak novog doba za čovečanstvo. Po prvi put u istoriji, postalo je moguće da mali broj ljudi koji donose odluke izazovu haos u celom svetu. Mi sada predstavljamo najveću pretnju sopstvenom opstanku — to je čini današnjicu najopasnijom tačkom u ljudskoj istoriji.

A nuklearno oružje nije jedini način na koji možemo da okončamo civilizaciju.

Koliki je rizik od klimatskih promena?

Predsednik Obama je 2015. godine rekao u svom obraćanju naciji da „Nijedan izazov ne predstavlja veću pretnju budućim generacijama od klimatskih promena“.

Klimatske promene su svakako veliki rizik za civilizaciju.

Najverovatniji ishod je 2–4 stepena zagrevanja 18, što bi bilo loše, ali bismo preživeli.

Međutim, neke procene daju 10% šanse za zagrevanje preko 6 stepeni, a možda i 1% šanse za zagrevanje od 9 stepeni.

Dakle, izgleda da je šansa za masovnu klimatsku katastrofu koju stvara CO2 možda slična šansi za nuklearni rat.

Ali kao što tvrdimo u našem profilu problema klimatskih promena, malo je verovatno da bi čak i zagrevanje od 13 stepeni direktno izazvalo izumiranje čovečanstva. Shodno tome, istraživači koji proučavaju ova pitanja smatraju da je verovatnije da će nuklearni rat dovesti do potpunog izumiranja, zbog mogućnosti nuklearne zime, zbog čega mislimo da nuklearno oružje predstavlja još veći rizik od klimatskih promena.

Međutim, klimatske promene su svakako veliki problem, a njeni destabilizujući efekti bi mogli da pogoršaju druge rizike (uključujući rizike od nuklearnog sukoba). Ovo bi trebalo da podigne našu procenu rizika još više.

Koje nove tehnologije mogu biti jednako opasne kao nuklearno oružje?

Pronalazak nuklearnog oružja doveo je do antinuklearnog pokreta samo nekoliko decenija kasnije, 1960-ih, a pokret za zaštitu životne sredine ubrzo se prihvatio borbe protiv klimatskih promena.

Ono što je manje prepoznato je da će nove tehnologije predstavljati dalje katastrofalne rizike. Zbog toga nam je potreban pokret koji se bavi očuvanjem civilizacije uopšte.

Predviđanje budućnosti tehnologije je teško, ali pošto imamo samo jednu civilizaciju , moramo da damo sve od sebe. Evo nekih kandidata za sledeću tehnologiju koja je opasna kao nuklearno oružje.

Kreirane pandemije

U periodu 1918-1919, preko 3% svetske populacije umrlo je od španske groznice 19. Kada bi takva pandemija nastala danas, možda bi je bilo još teže obuzdati zbog brzog globalnog transporta.

Ono što je više zabrinjavajuće je to što bi uskoro moglo biti moguće genetski konstruisati virus koji je zarazan kao španski grip, ali i smrtonosniji, i koji bi se godinama mogao širiti neotkriven.

To bi bilo oružje sa razornom snagom nuklearnog oružja, ali bi bilo daleko teže sprečiti njegovu upotrebu. Nuklearno oružje zahteva ogromne fabrike i retke materijale za proizvodnju, što ga čini relativno lakim za kontrolu. Kreirane viruse mogu da naprave nekoliko ljudi sa doktoratom iz biologije u laboratoriji. U stvari, 2006. Gardijan je mogao da primi segmente izumrlog virusa malih boginja poštom. 20 Neke terorističke grupe su izrazile interesovanje za upotrebu neselektivnog oružja poput ovog. (Pročitajte više o rizicima od pandemije.)

Veštačka inteligencija

Još jedna nova tehnologija sa ogromnom potencijalnom snagom je veštačka inteligencija.

Razlog zašto su ljudi glavni, a ne šimpanze je prosto pitanje inteligencije. Naši veliki i moćni mozgovi nam daju neverovatnu kontrolu nad svetom, uprkos činjenici da smo toliko fizički slabiji od šimpanzi.

Pa šta bi se onda dogodilo kada bismo jednog dana stvorili nešto mnogo inteligentnije od nas samih?

2017 godine ispitano je 350 istraživača koji su objavili recenzirano istraživanje o veštačkoj inteligenciji na vrhunskim konferencijama sa pitanjem kada veruju da ćemo razviti računare sa inteligencijom na nivou čoveka; odnosno, mašinu koja je sposobna da bolje obavlja sve radne zadatke bolje nego ljudi.

Srednja procena je bila da postoji 50% šanse da ćemo razviti mašinsku inteligenciju visokog nivoa za 45 godina, a 75% do kraja veka 21.

Ove verovatnoće je teško proceniti, a istraživači su dali veoma različite brojke u zavisnosti od toga kako tačno postavljate pitanje .  22 Ipak, čini se da postoji barem razumna šansa da u narednom veku izmislimo neku vrstu transformativne mašinske inteligencije. Štaviše, veća neizvesnost znači da bi do toga moglo doći još i ranije nego što ljudi misle.

Koje rizike nosi ovaj razvoj događaja? Prvi pioniri u računarstvu, poput Alana Tjuringa i Marvina Minskija, izrazili su zabrinutost u vezi sa rizicima moćnih računarskih sistema 23, a ovi rizici su prisutni i danas. Ne govorimo o tome da kompjuteri „postanu zli“. Radije, jedna briga je da jedna grupa može da iskoristi moćni sistem veštačke inteligencije da bi stekla kontrolu nad svetom ili da bi se on na neki drugi način zloupotrebio. Da je SSSR razvio nuklearno oružje 10 godina pre SAD, SSSR bi mogao postati dominantna svetska sila. Moćna kompjuterska tehnologija može predstavljati slične rizike.

Druga zabrinutost je da bi upotreba takvog sistema mogla imati neželjene posledice, jer bi bilo teško predvideti šta će nešto pametnije od nas uraditi. Dovoljno moćan sistem takođe može biti teško kontrolisati, pa ga je teško i zaustaviti kada se pokrene. Ovu zabrinutost su izneli profesor sa Oksforda Nik Bostrom u knjizi Superinteligencija i pionir veštačke inteligencije Stjuart Rasel.

Većina stručnjaka smatra da će bolja VI biti izuzetno pozitivan razvoj, ali se takođe slažu da postoje rizici. U anketi koju smo upravo spomenuli, stručnjaci za veštačku inteligenciju procenili su da razvoj mašinske inteligencije visokog nivoa ima 10% šanse za „loš ishod” i 5% šanse za „izuzetno loš” ishod, kao što je izumiranje ljudi 24. I verovatno bi trebalo očekivati da ova grupa bude pozitivno pristrasna, pošto, na kraju krajeva, žive od tehnologije.

Sabirajući procene, ako postoji šansa od 75% da se u sledećem veku razvije mašinska inteligencija na visokom nivou, onda to znači da je šansa za veliku katastrofu izazvanu VI 5% od 75%, što je oko 4%. (Pročitajte više o rizicima od veštačke inteligencije.)

Ostali rizici od novih tehnologija

Ljudi su izrazili zabrinutost zbog drugih novih tehnologija, kao što su drugi oblici geoinženjeringa iatomske proizvodnje, ali izgledaju znatno manje neizbežni, pa se na njih gleda kao na manje opasne od drugih tehnologija koje smo pokrili. Dužu listu egzistencijalnih rizika možete pogledati ovde.

Ono što je verovatno više zabrinjavajuće su rizici o kojima još nismo razmišljali. Da ste pitali ljude 1900. koji su najveći rizici za civilizaciju, oni verovatno ne bi naveli nuklearno oružje, genetski inženjering ili veštačku inteligenciju, jer ništa od toga još nije izmišljeno. Moguće je da smo u istoj situaciji i radujemo se sledećem veku. Buduće „nepoznate nepoznanice“ mogu predstavljati veći rizik od rizika koje poznajemo danas.

Svaki put kada otkrijemo novu tehnologiju, to je pomalo kao klađenje protiv jednog broja na ruletu. Većinu vremena pobeđujemo, a tehnologija je generalno dobra. Ali svaki put postoji i mala šansa da nam tehnologija daje više destruktivne moći nego što možemo da podnesemo, i da izgubimo sve.

Koliki je ukupan rizik od izumiranja ljudi ako sve saberemo?

Mnogi stručnjaci koji proučavaju ova pitanja procenjuju da je ukupna šansa za izumiranje ljudi u narednom veku između 1 i 20%.

U našoj epizodi podkasta sa Vilom MekAskilom razmatramo zašto on procenjuje rizik od izumiranja ovog veka na oko 1%.

A u svojoj knjizi Provalija: egzistencijalni rizik i budućnost čovečanstva iz 2020. Tobi Ord navodi svoju pretpostavku o našem ukupnom egzistencijalnom riziku u ovom veku kao 1 prema 6 (ili oko 17%) – bacanje kocke. (Imajte na umu, međutim, da Ordova definicija egzistencijalne katastrofe nije baš ekvivalentna ljudskom izumiranju; ona bi uključivala, na primer, globalnu katastrofu koja ostavlja vrstu nesposobnom da se ikada zaista oporavi, čak i ako su neki ljudi još živi.) Poslušajte našu epizodu sa Tobijem.

Njegova knjiga pruža sledeću tabelu u kojoj su izložene njegove (veoma grube) procene egzistencijalnog rizika od onoga što veruje da su najveće pretnje:

Ove brojke su oko milion puta veće od onoga što ljudi obično misle.

Šta treba da uradimo sa ovim procenama? Pretpostavljamo da istraživači zainteresovani za ovu temu rade samo na ovim pitanjima jer misle da su toliko važna, tako da treba očekivati da će njihove procene biti visoke (zbog pristrasnosti izbora). Iako su brojke za debatu, mislimo da je niz stavova, uključujući stavove MekAskil i Orda, prihvatljiv.

Zašto bi pomoć u očuvanju budućnosti mogla biti najvažnija stvar koju možete učiniti u svom životu

Koliki treba da damo prioritet radu na smanjenju ovih rizika u poređenju sa drugim pitanjima, poput globalnog siromaštva, okončanja raka ili političkih promena?

U 80.000 Hours radimo istraživanje kako bismo pomogli ljudima da pronađu karijere sa pozitivnim društvenim uticajem. Kao deo toga, pokušavamo da pronađemo najhitnije probleme na svetu na kojima ćemo raditi. Mi procenjujemo različite globalne probleme koristeći naš okvir problema, koji poredi probleme u smislu:

• Skala — na koliko njih utiče problem

• Zanemarenost — koliko ljudi već radi na tome

• Rešivost — kako je lako napredovati

Ako primenite ovaj okvir, mislimo da je očuvanje budućnosti najveći svetski prioritet. I tako, ako želite da imate veliki pozitivan uticaj na svoju karijeru, ovo je glavna oblast na koju treba da se fokusirate.

U narednih nekoliko odeljaka, procenjivaćemo ovo pitanje na osnovu obima, zanemarenosti i rešivosti, u velikoj meri oslanjajući se na članak Prevencija egzistencijalnog rizika kao globalni prioritet Nika Bostroma i neobjavljen rad Tobija Orda, kao i na naše sopstveno istraživanje.

Prvo, počnimo sa razmerom problema. Tvrdili smo da verovatno ima više od 3% šanse za izumiranje u sledećem veku. Koliko je ovo veliki problem?

Jedna cifra koju možemo pogledati je koliko bi ljudi moglo da umre u takvoj katastrofi. Stanovništvo Zemlje sredinom veka brojaće oko 10 milijardi, tako da šansa od 3% da će svi umreti znači da je očekivani broj smrtnih slučajeva oko 300 miliona. Ovo je verovatno više smrtnih slučajeva nego što možemo očekivati u narednom veku zbog bolesti siromaštva, poput malarije 25.

Mnogi rizici koje smo pokrili bi takođe mogli da izazovu „srednju“ katastrofu, a ne onu koja okončava civilizaciju, a to je znatno verovatnije. Istraživanje koje smo ranije pokrili sugerisalo je preko 10% šanse za katastrofu koja će ubiti preko milijardu ljudi u sledećem veku, što bi bilo najmanje još 100 miliona smrtnih slučajeva u očekivanju, zajedno sa daleko većom patnjom među onima koji prežive.

Dakle, čak i ako se fokusiramo samo na uticaj na sadašnju generaciju, ovi katastrofalni rizici su jedno od najozbiljnijih pitanja sa kojima se čovečanstvo suočava.

Ali ovo je veliko potcenjivanje razmera problema, jer ako civilizacija nestane, onda se odričemo i cele naše budućnosti.

Većina ljudi želi da ostavi bolji svet svojim unucima, a većina takođe misli da bi trebalo da se pobrinemo za buduće generacije na širem planu. Moglo bi biti mnogo više ljudi koji će imati sjajne živote u budućnosti nego što ih ima danas, i trebalo bi da nam je stalo do njihovih interesa. Postoji mogućnost da bi ljudska civilizacija mogla da traje milionima godina, tako da kada uzmemo u obzir uticaj rizika na buduće generacije, ulozi su milionima puta veći – na dobro ili zlo. Kao što je Karl Sagan napisao o ceni nuklearnog rata u Foreign Affairs-u :

Nuklearni rat ugrožava sve naše potomke, sve dok postoje ljudi. Čak i ako populacija ostane statična, sa prosečnim životnim vekom od 100 godina, tokom tipičnog vremenskog perioda za biološku evoluciju uspešne vrste (otprilike 10 miliona godina), govorimo o nekih 500 milijardi ljudi koji tek dolaze. Po ovom kriterijumu, ulozi su milion puta veći za izumiranje nego za skromnije nuklearne ratove koji ubijaju „samo” stotine miliona ljudi. Postoje mnoge druge moguće mere potencijalnog gubitka – uključujući kulturu i nauku, evolucionu istoriju planete i značaj života svih naših predaka koji su doprineli budućnosti svojih potomaka. Izumiranje je propast čitavog ljudskog poduhvata.

Drago nam je što Rimljani nisu dozvolili da čovečanstvo nestane, jer to znači da je cela moderna civilizacija mogla da postoji. Mislimo da dugujemo sličnu odgovornost ljudima koji će doći posle nas, pretpostavljajući (kao što verujemo) da će verovatno voditi ispunjen život. Bilo bi nepromišljeno i nepravedno ugrožavati njihovu egzistenciju samo da bismo sebi kratkoročno poboljšali život.

Ne radi se samo o tome da bi u budućnosti moglo biti više ljudi. Kao što je Sagan takođe istakao, bez obzira šta mislite da je vredno, potencijalno će toga biti mnogo više u budućnosti. Buduća civilizacija bi mogla da stvori svet bez potrebe ili želje, i da napravi neverovatna intelektualna i umetnička dostignuća. Mogli bismo da izgradimo daleko pravednije i vrlije društvo. I nema suštinskih razloga zašto civilizacija ne bi mogla da dopre do drugih planeta, kojih u našoj galaksiji ima oko 100 milijardi.26Ako pustimo da se civilizacija završi, onda se ništa od ovoga nikada ne može dogoditi.

Nismo sigurni da li će se ova sjajna budućnost zaista desiti, ali to je razlog više da nastavimo civilizaciju tako da imamo priliku da vidimo. Neuspeh da prenesemo baklju sledećoj generaciji može biti najgora stvar koju smo ikada mogli da uradimo.

Dakle, čini se da je rizik od nekoliko procenata da civilizacija nestane verovatno najveći problem sa kojim se svet danas suočava. Ono što je takođe upadljivo je koliko su ovi rizici zanemareni.

Zašto su ovi rizici neka od najzanemarenijih globalnih pitanja

Evo koliko novca godišnje ide u neke važne svrhe: 27

Kao što vidite, trošimo ogromnu količinu resursa na istraživanje i razvoj da bismo razvili još moćniju tehnologiju. Takođe mnogo trošimo u (verovatno pogrešnom) pokušaju da poboljšamo svoje živote kupovinom luksuzne robe.

Daleko manje se troši na ublažavanje katastrofalnih rizika od klimatskih promena. Potrošnja na socijalna pitanja samo u SAD daleko je veća u odnosu na globalnu potrošnju na klimatske promene.

Ali klimatske promene i dalje dobijaju ogromne količine novca u poređenju sa nekim od ovih drugih rizika koje smo pokrili. Grubo procenjujemo da prevencija ekstremnih globalnih pandemija dobija nešto ispod 300 puta manje, iako se veličina rizika čini približno istom.

Istraživanja za izbegavanje nesreća od sistema VI su najviše zanemarena od svih, za uzvrat dobijaju možda 100 puta manje resursa, oko samo 10 miliona dolara godišnje.

Videli biste sličnu sliku ako biste pogledali broj ljudi koji rade na ovim rizicima, a ne potrošenim novcem, ali lakše je dobiti brojke za novac.

Ako umesto toga pogledamo pažnju naučne zajednice, vidimo sličnu sliku zanemarivanja (mada, neki od pojedinačnih rizika dobijaju značajnu pažnju, kao što su klimatske promene):

Naš utisak je da ćete, ako pogledate političku pažnju, naći sličnu sliku kao i povodom brojki o finansiranju. Ogromna količina političke pažnje posvećuje se konkretnim pitanjima koja kratkoročno pomažu sadašnjoj generaciji, jer to dobija glasove. Katastrofalni rizici su daleko više zanemareni. Zatim, među katastrofalnim rizicima, klimatske promene dobijaju najveću pažnju, dok se pitanja poput pandemije i veštačke inteligencije najviše zanemaruju.

Ovo zanemarivanje resursa, naučnih studija i političke pažnje je upravo ono što biste očekivali da će se desiti u ovakvoj ekonomiji, i zbog toga ova oblast predstavlja priliku za ljude koji žele da učine svet boljim mestom.

Prvo, ovi rizici nisu odgovornost nijedne nacije. Pretpostavimo da su SAD mnogo uložile u sprečavanje klimatskih promena. Ovo koristi svima u svetu, ali samo oko 5% svetske populacije živi u SAD, tako da bi građani SAD dobili samo 5% beneficija ove potrošnje. To znači da će SAD dramatično premalo ulagati u ove napore u poređenju sa onim koliko oni vrede svetu. A isto važi i za svaku drugu zemlju.

Ovo bi se moglo rešiti ako bismo svi mogli da koordiniramo – kada bi se svaka nacija složila da doprinese svojim srazmernim udelom u smanjenju klimatskih promena, onda bi sve nacije imale koristi izbegavajući njihove najgore posledice.

Nažalost, iz perspektive svake pojedinačne nacije, bolje je da svaka druga zemlja smanji emisije, a da pritom ona svoju ekonomiju ne sputava. Dakle, postoji podsticaj za svaku naciju da odstupi od klimatskih sporazuma, i to je razlog zašto se postiže tako mali napredak (to je dilema zatvorenika).

I u stvari, ovo dramatično potcenjuje problem. Najveći uživaoci napora da se smanje katastrofalni rizici su buduće generacije. Oni nemaju načina da se zalažu za svoje interese, bilo ekonomski ili politički.

Kada bi buduće generacije mogle da glasaju na našim izborima, onda bi velikom većinom glasale za sigurniju politiku. Isto tako, ako bi buduće generacije mogle da pošalju novac u prošlost, bile bi spremne da nam plate ogromne količine novca da umanje ove rizike. (Tehnički, smanjenje ovih rizika stvara transgeneracijsko, globalno javno dobro, koje bi trebalo da ih svrsta među najzanemarenije načine da se čini dobro.)

Naš sadašnji sistem loše radi na zaštiti budućih generacija. Znamo ljude koji su razgovarali sa najvišim vladinim zvaničnicima u UK, i mnogi žele da učine nešto u vezi sa ovim rizicima, ali kažu da pritisci vesti i izbornog ciklusa otežavaju fokusiranje na njih. U većini zemalja ne postoji nijedna vladina agencija u čijoj je direktnoj nadležnosti ublažavanje ovih rizika.

Ovo je depresivna situacija, ali je i prilika. Za ljude koji žele da učine svet boljim, ovaj nedostatak pažnje znači da postoji mnogo načina da se pomogne.

Šta se može učiniti u vezi sa ovim rizicima?

Pokrili smo razmere i zanemarivanje ovih pitanja, ali šta je sa trećim elementom našeg okvira, rešivošću?

Manje je sigurno da možemo napredovati u ovim pitanjima nego u konvencionalnijim oblastima kao što je globalno zdravlje. Mnogo je lakše izmeriti naš uticaj na zdravlje (bar kratkoročno) i imamo decenije dokaza o tome šta funkcioniše. To znači da rad na smanjenju katastrofalnih rizika stoji gore po pitanju rešivosti.

Međutim, postoji još mnogo toga što možemo da uradimo, a s obzirom na ogroman obim i zanemarivanje ovih rizika, oni i dalje izgledaju kao najhitnija pitanja.

Ocrtaćemo neke načine za smanjenje ovih rizika i podeliti ih u tri široke kategorije:

1. Ciljani napori za smanjenje specifičnih rizika

Jedan pristup je direktno adresiranje svakog rizika. Postoji mnogo konkretnih predloga za rešavanje svakog od njih, kao što su sledeći:

1.   Mnogi stručnjaci se slažu da bi bolje praćenje bolesti smanjio rizik od pandemija. To bi moglo uključivati poboljšanu tehnologiju ili bolje prikupljanje i agregaciju postojećih podataka, kako bi nam pomogli da brže uočimo nove pandemije. Što brže uočite novu pandemiju, lakše je upravljati njom.

2.   Postoji mnogo načina za ublažavanje klimatskih promena, kao što je pomoć u razvoju boljih solarnih panela ili uvođenje poreza na ugljenik.

3.   Pomoću veštačke inteligencije možemo da istražimo „problem kontrole“ u kompjuterskoj nauci, kako bismo smanjili mogućnost nenamerne štete od moćnih sistema veštačke inteligencije. Nedavni rad, Konkretni problemi u bezbednosti veštačke inteligencije, opisuje neke specifične teme, ali samo oko 20 ljudi danas radi na sličnim istraživanjima puno radno vreme.

4.   U nuklearnoj bezbednosti, mnogi stručnjaci smatraju da se prednosti odvraćanja od nuklearnog oružja mogu održati sa daleko manjim zalihama. Ali, manje zalihe bi takođe smanjile rizike od nesreća, kao i šansu da nuklearni rat, ako do njega dođe, dovede do kraja civilizacije .

Detaljnije o tome šta možete da uradite da biste rešili svaki od ovih rizika u okviru naših profila problema:

1.   Bezbednost VI

2.   Prevencija pandemije

3.   Nuklearna bezbednost

4.   Klimatske promene

U ovom odeljku se ne fokusiramo na prirodno izazvane rizike, jer su oni mnogo manje verovatni i već radimo mnogo da bismo se suočili sa nekim od njih. Uvećano bogatstvo i moderna tehnologija čine nas otpornijim na prirodne rizike, a ogroman trud se već ulaže da bismo dalje napredovali na ta dva polja.

2. Široki napori za smanjenje rizika

Umesto da pokušavamo da smanjimo svaki rizik pojedinačno, možemo pokušati da civilizaciju uopšteno učinimo boljom u bavljenju njima. „Široki“ napori pomažu da se sve pretnje umanje odjednom, čak i one na koje još nismo pomislili.

Na primer, postoje ključni donosioci odluka, često u vladi, koji će morati da se bave ovim rizicima kada se pojave. Ako bismo mogli da poboljšamo sposobnost donošenja odluka ovih ljudi i institucija, onda bi to pomoglo da društvo uopšte bude otpornije i reši mnoge druge probleme.

Nedavna istraživanja su otkrila mnogo načina da se poboljša donošenje odluka, ali većina njih još uvek nije primenjena. Istovremeno, malo ljudi radi na ovom pitanju. Zalazimo dublje u ovu temu u našem tekstu o poboljšanju institucionalnog donošenja odluka.

Drugi primer je da bismo mogli pokušati da olakšamo civilizaciji da se oporavi od katastrofe. Globalni trezor semena je zamrznuti trezor na Arktiku, koji sadrži semena mnogih važnih sorti useva, smanjujući šansu da izgubimo važnu vrstu. Voda iz glečera koji se tope je nedavno ušla u tunel koji vodi do trezora zbog, ironično, klimatskih promena, pa bi projektu verovatno trebalo više sredstava. Postoji mnogo drugih ovakvih projekata koje bismo mogli da ostvarimo da sačuvamo znanje.

Slično tome, mogli bismo da napravimo bolja skloništa od katastrofa, koja bi smanjila šansu za izumiranje od pandemija, nuklearne zime i asteroida (iako ne i veštačke inteligencije), dok bi takođe povećali šansu za oporavak nakon katastrofe. Trenutno, ove mere ne izgledaju tako delotvorne kao smanjenje rizika isprva, ali ipak pomažu. Zapostavljenija, a možda i mnogo jeftinija opcija je stvaranje alternativnih izvora hrane, kao što su oni koji se mogu proizvoditi bez svetlosti i koji bi se mogli brzo uvećati tokom produžene zime.

Pošto široki napori pomažu čak i ako nismo sigurni u detalje rizika, oni su privlačniji što ste nesigurniji. Kako se približavate rizicima, trebalo bi da postepeno preraspodelite resurse sa širokih na ciljane napore (pročitajte više).

Očekujemo da postoji mnogo više obećavajućih širokih intervencija, ali to je oblast u kojoj je malo istraživanja urađeno. Na primer, drugi pristup bi mogao uključivati poboljšanje međunarodne saradnje. Pošto ove rizike izaziva čovečanstvo, čovečanstvo ih može i sprečiti, ali ono što nas sprečava su poteškoće u koordinaciji. Na primer, Rusija ne želi da se razoruža jer bi je to stavilo u nepovoljan položaj u odnosu na SAD, i obrnuto, iako bi obema zemljama bilo bolje da ne postoji mogućnost nuklearnog rata.

Međutim, možda bi bilo moguće poboljšati našu sposobnost koordinacije kao civilizacije, na primer poboljšanjem spoljnih odnosa ili razvojem boljih međunarodnih institucija. Voleli bismo da vidimo više istraživanja ovakvih predloga.

Uobičajeni napori da se čini dobro, poput poboljšanja obrazovanja i međunarodnog razvoja, takođe mogu pomoći da se društvo učini otpornijim i mudrijim, i tako doprineti smanjenju katastrofalnih rizika. Na primer, bolje obrazovana populacija bi verovatno izabrala prosvetljenije lidere (Hm…), a bogatije zemlje su, ako zanemarimo druge faktore, sposobnije da spreče pandemije – nije slučajno što se ebola ukorenila u nekim od najsiromašnijih delova zapadne Afrike.

Ali, ne vidimo obrazovanje i zdravstvo kao najbolje oblasti na koje treba da se fokusiramo iz dva razloga. Prvo, ove oblasti su daleko manje zanemarene od nekonvencionalnijih pristupa koje smo pokrili. U stvari, poboljšanje obrazovanja je možda najpopularniji razlog za ljude koji žele da čine dobro, a samo u SAD dobijaju 800 milijardi dolara vladinog finansiranja i još trilione dolara privatnog finansiranja. Drugo, ovi pristupi imaju mnogo više difuzne efekte na smanjenje ovih rizika — morali biste da poboljšate obrazovanje u veoma velikim razmerama da biste imali bilo kakav primetan efekat. Radije bismo da se fokusiramo na konkretnija i zanemarena rešenja.

3. Učenje i izgradnja kapaciteta

Veoma smo nesigurni koji su rizici najveći, šta je najbolje učiniti u vezi sa njima i da li je cela naša slika globalnih prioriteta možda potpuno pogrešna. To znači da je još jedan ključni cilj naučiti više o svim ovim pitanjima.

Možemo naučiti više tako što ćemo jednostavno pokušati da smanjimo ove rizike i vidimo kakav napredak se može postići. Međutim, mislimo da je trenutno najzapostavljeniji i najvažniji način da naučite više o ovome istraživanje globalnih prioriteta.

Ovo je kombinacija ekonomije i moralne filozofije, koja ima za cilj da odgovori na pitanja visokog nivoa o najvažnijim pitanjima za čovečanstvo. Postoji samo nekoliko istraživača koji puno radno vreme posvećuju ovim pitanjima.

Drugi način da se nosite sa neizvesnošću je da prikupite resurse koji se mogu upotrebiti u budućnosti kada budete imali više informacija. Jedan od načina da to uradite je da zaradite i uštedite novac. Takođe možete ulagati u svoj karijerni kapital, posebno u svoje prenosive veštine i uticajne veze, tako da možete postići više u budućnosti.

Međutim, mislimo da je potencijalno bolji pristup od bilo kojeg od ovih izgradnja zajednice fokusirane na smanjenje ovih rizika, ma kakvi oni bili. Razlog zašto ovo može biti bolje je taj što je moguće povećati kapacitet zajednice brže nego što možete povećati svoje individualno bogatstvo ili karijerni kapital. Na primer, ako ste proveli godinu dana radeći ciljano kontaktiranje jedan na jedan, nije isključeno da biste pronašli još jednu osobu sa relevantnom stručnošću da vam se pridruži. Ovo bi bio godišnji povrat na vaše ulaganje od oko 100%.

Trenutno smo fokusirani na izgradnju zajednice efektivnog altruizma, koja uključuje mnoge ljude koji žele da smanje ove rizike. Štaviše, nedavna stopa rasta i studije specifičnih napora da se razvije zajednica sugerišu da su visoke stope povrata moguće.

Međutim, očekujemo da će i drugi napori na izgradnji zajednice takođe biti dragoceni. Bilo bi sjajno videti zajednicu naučnika koji pokušavaju da promovišu kulturu bezbednosti u akademskim krugovima. Bilo bi sjajno videti zajednicu kreatora politike koji žele da pokušaju da smanje ove rizike i nateraju vladu da više brine za buduće generacije.

S obzirom na to koliko malo ljudi aktivno radi na smanjenju ovih rizika, očekujemo da se može mnogo učiniti da se izgradi pokret oko njih.

Sve u svemu, koliko je efikasno smanjenje ovih rizika?

Imajući u vidu sve pristupe smanjenju ovih rizika i koliko je malo sredstava posvećeno nekima od njih, čini se da je značajan napredak moguć.

U stvari, čak i ako uzmemo u obzir samo uticaj ovih rizika na sadašnju generaciju (zanemarujući bilo kakve koristi za buduće generacije), oni su verovatno najveći prioritet.

Evo nekih veoma grubih i pojednostavljenih brojki, tek da ilustruju kako je ovo moguće. Čini nam se verovatnim da bi 100 milijardi dolara potrošeno na smanjenje egzistencijalnih pretnji moglo da ih smanji za preko 1% tokom sledećeg veka. Očekuje se da će smanjenje rizika za jedan procenat spasiti oko 100 miliona života iz sadašnje generacije (1% od oko 10 milijardi ljudi koji danas žive). To bi značilo da bi investicija spasila živote za samo 1.000 dolara po osobi 28.

Greg Luis je napravio detaljniju procenu, došavši do prosečne vrednosti od 9.200 dolara po godini spašenog života u sadašnjoj generaciji (ili ~300.000 dolara po životu) 29. Ima još i više brojki u njegovoj objavi. Smatramo da je Greg verovatno previše konzervativan, jer pretpostavlja da je rizik od izumiranja samo 1% tokom sledećeg veka, dok je naša procena da je nekoliko puta veći. Takođe mislimo da bi sledeća milijarda dolara potrošena na smanjenje egzistencijalnog rizika mogla da izazove veće smanjenje rizika nego što Greg pretpostavlja (imajte na umu da je to tačno samo ako je milijarda potrošena na najzanemarenija pitanja kao što su bezbednost veštačke inteligencije i biorizike) . Kao rezultat toga, ne bismo se iznenadili da je cena po sadašnjim životima spašenih za sledeću milijardu dolara uloženih u smanjenje egzistencijalnog rizika ispod 100 dolara.

GiveWell-ova najbolja dobrotvorna organizacija, Fondacija protiv malarije (eng. Against Malary Foundation – AMF), često se predstavlja kao jedan od najboljih načina da se pomogne sadašnjoj generaciji i spase živote za oko 7.500 dolara (cifre iz 2017.)30. Dakle, ove procene bi stavile smanjenje egzistencijalne pretnje iznad ili na isti nivo po isplativosti kao i AMF za potrebe spasavanja života u sadašnjoj generaciji — a to je dobrotvorna organizacija koja je posebno odabrana zbog toga što je izvanredna u toj dimenziji.

Isto tako, mislimo da kada bi 10.000 talentovanih mladih ljudi fokusiralo svoju karijeru na ove rizike, mogli bi postići nešto poput smanjenja rizika za 1%. To bi značilo da bi svaka osoba spasila 1.000 života tokom svoje karijere u sadašnjoj generaciji, što je verovatno bolje od onoga što bi mogli da postignu doniranjem Fondaciji protiv malarije 31.

U jednom smislu, ovo su nepravedna poređenja, jer je GiveWell-ova procena daleko solidnija i dobro istražena, dok je naša procena više nagađanje na osnovu informacija. Možda postoje i bolji načini da se pomogne sadašnjoj generaciji od AMF-a (npr. Zagovaranje određene politike).

Međutim, takođe smo drastično potcenili prednosti smanjenja egzistencijalnih pretnji. Glavni razlog za očuvanje civilizacije nije dobrobit sadašnje generacije, već korist budućih generacija. U ovoj proceni smo ih zanemarili.

Ako uzmemo u obzir i buduće generacije, onda je efikasnost smanjenja egzistencijalnih pretnji mnogostruko veća i teško je zamisliti hitniji prioritet za ovaj trenutak.

Sada možete ili pročitati neke odgovore na ove argumente ili preskočiti do praktičnih načina da doprinesete.

Ko ne bi trebalo da da prioritet zaštiti budućnosti?

Izneseni argumenti počivaju na nekim pretpostavkama koje neće svi prihvatiti. Ovde predstavljamo neke od boljih odgovora na ove argumente.

Morate se više fokusirati na svoje prijatelje i porodicu

Govorimo samo o tome šta bi trebalo da bude prioritet ako pokušavate da pomognete ljudima uopšte, tretirajući interese svih kao jednake (ono što filozofi ponekad nazivaju „nepristrasnim altruizmom“).
Većini ljudi je stalo da pomognu drugima u određenom stepenu: ako možete pomoći strancu uz male troškove, to je dobra stvar. Ljudima je takođe stalo da njihovi životi prođu dobro, i da brinu o svojim prijateljima i porodici, i mi smo tu isti. Kako uskladiti ove prioritete je teško pitanje. Ako ste u dobroj poziciji da možete da doprinesete pomaganju svetu, onda mislimo da bi očuvanje budućnosti trebalo da bude ono na šta treba da se fokusirate. U sledećem odeljku navodimo konkretne načine da se uključite. 

U suprotnom, možda ćete morati da se fokusirate na svoj lični život upravo sada, doprinoseći sa strane ili u budućnosti.

Mislite da su rizici mnogo manji nego što tvrdimo

Nemamo čvrste procene mnogih rizika izazvanih ljudima, tako da možete da pokušate da napravite sopstvene procene i zaključite da su šanse mnogo manje nego što smo mi predvideli. Ako bi bile dovoljno male, onda bi njihovo smanjenje prestalo da bude glavni prioritet.

Ovo ne smatramo uverljivim iz navedenih razloga. Ako uzmete u obzir sve potencijalne rizike, čini se da je teško biti siguran da su oni ispod 1% tokom veka, a čak i rizik od 1% verovatno zahteva mnogo više akcije nego što trenutno vidimo.

Mislite da gotovo ništa više ne možemo da uradimo u vezi sa rizicima

Ove rizike ocenjujemo kao manje „rešive“ od pitanja poput globalnog zdravlja, pa očekujte da će jedinica napretka biti skuplja “po dolaru”. Ipak, mislimo da njihov obim i zanemarenost više nego nadoknađuju ovo, pa očekujemo da su na kraju efikasniji. Mnogi ljudi misle da je efektivni altruizam samo podržavanje „dokazanih“ intervencija, ali to je mit. Vredi preduzimati intervencije koje imaju samo male šanse da se isplate, ako je prednost dovoljno velika. Vodeći finansijer u zajednici sada zagovara pristup „davanja zasnovanog na pogodcima“.

Međutim, ako ste mnogo pesimističniji u pogledu šansi za napredak od nas, onda bi možda bilo bolje da radite na konvencionalnijim pitanjima, kao što je globalno zdravlje.
Lično, mogli bismo da pređemo na drugo pitanje da je bilo dva reda veličine više resursa uloženih u smanjenje ovih rizika. Ali trenutno smo daleko od toga. S tim u vezi odgovor je da već preduzimamo najbolje intervencije da smanjimo ove rizike. To bi značilo da rizici ne zahtevaju promenu praktičnih prioriteta. Na primer, ranije smo spomenuli da obrazovanje verovatno pomaže u smanjenju rizika. Ako ste mislili da je obrazovanje najbolji odgovor (možda zato što niste sigurni koji će rizici biti najhitniji), onda zato što već ulažemo ogroman iznos u obrazovanje, možda mislite da je situacija već rešena. Ne smatramo ovo uverljivim jer, kao što je navedeno, postoji mnogo neiskorišćenih mogućnosti da se smanje ovi rizici koji su više ciljani i zanemareni.

Još jedan ovakav primer je da ekonomisti ponekad tvrde da se samo treba fokusirati na ekonomski rast, jer će nas to dovesti u najbolju moguću poziciju da se nosimo sa rizicima u budućnosti. Ovo ne smatramo uverljivim jer neke vrste ekonomskog rasta povećavaju rizike (npr. otkrivanje novog oružja), pa je nejasno da je ekonomski rast najbolji način za smanjenje rizika. Umesto toga, bar bismo se fokusirali na diferencijalni tehnološki razvoj, ili na druge više ciljane napore navedene iznad.

Mislite da postoji bolji način da se pomogne budućnosti

Iako je smanjenje ovih rizika vredno toga za sadašnju generaciju, veliki deo njihove važnosti proizilazi iz njihovih dugoročnih efekata – kada se civilizacija završi, odričemo se čitave budućnosti.

Možda mislite da postoje druge akcije koje bi sadašnja generacija mogla da preduzme, a koje bi imale veoma dugoročne efekte, a one bi mogle biti slično važne za smanjenje rizika od izumiranja. Konkretno, možda bismo mogli da poboljšamo kvalitet budućnosti tako što ćemo sprečiti da naša civilizacija bude trajno zarobljena u lošim ishodima.

Ovo će postati malo naučna fantastika, ali budite strpljivi. Jedna mogućnost koja se pojavila je da bi nova tehnologija, poput ekstremnog nadzora ili psihološkog uslovljavanja, mogla da omogući stvaranje totalitarne vlade koju nikada ne bismo mogli svrgnuti. Ovo bi bio scenario iz 1984. i Vrli novi svet . Kad bi ovakva vlada bila loša, onda bi civilizacija mogla imati sudbinu goru od nestanka, jer bismo patili milenijumima.

Drugi su izrazili zabrinutost da bi razvoj naprednih sistema veštačke inteligencije mogao da izazove strašnu štetu ako se uradi neodgovorno, možda zato što postoji sukob između nekoliko grupa koje se utkruju da razviju tehnologiju. Konkretno, ako u nekom trenutku u budućnosti razvoj ovih sistema uključuje stvaranje razumnih digitalnih umova, njihovo blagostanje bi moglo postati neverovatno važno. Rizici budućnosti koja sadrži astronomsku količinu patnje nazivaju se „s-rizici“ 32. Ako postoji nešto što danas možemo da uradimo da sprečimo s-rizik (na primer, kroz ciljano istraživanje tehničke bezbednosti VI i upravljanja VI), to bi moglo biti još važnije.

Još jedna oblast na koju treba obratiti pažnju su velike tehnološke tranzicije. Spomenuli smo opasnosti genetskog inženjeringa i veštačke inteligencije u ovom delu, ali ove tehnologije bi takođe mogle stvoriti drugu industrijsku revoluciju i učiniti ogromnu količinu dobra kada se primene. Možda postoje stvari koje možemo da uradimo da povećamo verovatnoću da prelaz bude dobar, umesto da smanjimo rizik od lošeg prelaza. Ovo se naziva pokušajem povećanja „egzistencijalne nade“ umesto smanjenja „egzistencijalnog rizika“ 33.

Slažemo se da mogu postojati i drugi načini da ostvarimo veoma dugoročne efekte, a oni bi mogli biti hitniji od smanjenja rizika od izumiranja. Međutim, većina ovih predloga još uvek nije tako dobro razrađena, i nismo sigurni šta da radimo u vezi sa njima. Glavni praktični rezultat razmatranja ovih drugih načina da se utiče na budućnost je da mislimo da je još važnijeda pozitivno upravljamo prelaskom na nove transformativne tehnologije, poput veštačke inteligencije. Takođe nas čini spremnijim da razmatramo više istraživanja globalnih prioriteta koja se bave ovim pitanjima. 

Sve u svemu, i dalje mislimo da ima smisla prvo se fokusirati na smanjenje egzistencijalnih pretnji, a zatim, nakon toga, možemo skrenuti pažnju na druge načine da pomognemo budućnosti. Jedan način da se pomogne budućnosti za koji ne mislimo da je dobar kandidat je ubrzavanje iste. Neki ljudi koji žele da pomognu budućnosti fokusiraju se na postizanje tehnološkog napretka, poput razvoja novih vakcina, i istina je da one stvaraju dugoročne koristi. Međutim, mislimo da je ono što je najvažnije iz dugoročne perspektive gde ćemo završiti, a ne koliko brzo tamo stižemo. Otkrivanje nove vakcine verovatno samo znači da ćemo je dobiti ranije, a ne da je inače ne bismo dobili.

Štaviše, pošto je tehnologija takođe uzrok mnogih od ovih rizika, nije jasno koliko ubrzavanje pomaže kratkoročno. 

Ubrzavanje napretka je takođe daleko manje zanemareno, jer koristi i sadašnjoj generaciji. Kao što smo naveli, preko 1 milijarda dolara se svake godine troši na istraživanje i razvoj novih tehnologija. Dakle, ubrzanja su i manje važna i manje zanemarena. Da biste pročitali više o drugim načinima pomoći budućim generacijama, pogledajte Poglavlje 3 knjige O ogromnoj važnosti oblikovanja daleke budućnosti dr Nika Beksteda.

Uvereni ste da će budućnost biti kratka ili loša

Ako mislite da je praktično zagarantovano da civilizacija neće dugo trajati, onda je vrednost smanjenja ovih rizika značajno smanjena (iako je možda i dalje vredno preduzeti nešto da bi se pomoglo sadašnjoj generaciji i bilo kom malom broju budućih generacija).

Slažemo se da postoji velika šansa da se civilizacija uskoro završi (zbog čega je ovo pitanje toliko važno), ali takođe mislimo da postoji dovoljno velika šansa da može trajati veoma dugo, što znači da je vredno boriti se za budućnost.

Slično tome, ako mislite da je verovatno da će budućnost biti više loša nego dobra (ili ako imamo mnogo više obaveza da smanjimo patnju nego da povećamo blagostanje), onda se vrednost smanjenja ovih rizika smanjuje. Međutim, ne mislimo da je to verovatno, jer ljudi žele da budućnost bude dobra, pa ćemo se truditi da bude više dobra nego loša. Takođe mislimo da je došlo do značajnog moralnog napretka u poslednjih nekoliko vekova (zbog ranije zabeleženih trendova), i mi smo optimisti da će se to nastaviti. Vidite detaljniju diskusiju u fusnoti 11.

Štaviše, čak i ako niste sigurni koliko će budućnost biti dobra, ili sumnjate da će biti loša na načine na koje bismo mogli da sprečimo u budućnosti, možda želite da civilizacija opstane i ima otvorene opcije. Ljudi će u budućnosti imati mnogo više vremena da prouče da li je poželjno da se civilizacija širi, da ostane iste veličine ili da se smanji. Ako mislite da postoji dobra šansa da ćemo moći da reagujemo na te moralne brige, to je dobar razlog da bilo kakve konačne odluke prepustimo mudrosti budućih generacija. Sve u svemu, veoma smo nesigurni u vezi sa ovim krupnim pitanjima, ali to nas generalno čini više zabrinutim oko toga kako da izbegnemo bilo kakve nepovratne korake 34.

Osim toga, verovatno bi trebalo da usmerite pažnju na načine da smanjite šanse da će budućnost biti loša, kao što je izbegavanje s-rizika.

Uvereni ste da imamo mnogo jače moralne obaveze da pomognemo sadašnjoj generaciji

Ako mislite da imamo mnogo jače obaveze prema sadašnjoj generaciji nego budućim generacijama (kao što su pogledi na etiku koji utiču na osobu), onda bi se smanjila važnost smanjenja ovih rizika. Lično, ne mislimo da su ova stanovišta naročito ubedljiva.

Uz to, tvrdili smo da čak i ako ignorišete buduće generacije, čini se da su ovi rizici vredi rešavanja. Predloženi napori bi i dalje mogli relativno jeftino da spasu živote sadašnje generacije i mogli bi da izbegnu mnogo stradanja od katastrofa srednje veličine. 

Štaviše, ako niste sigurni da li imamo moralne obaveze prema budućim generacijama, onda bi opet trebalo da držite naše mogućnosti otvorene, a to znači da čuvate civilizaciju.

Ipak, ako mislite da nemamo velike obaveze prema budućim generacijama i da su rizici takođe relativno nerešivi (ili da nema korisnih istraživanja koja bi se mogla sprovesti), onda bi neki drugi način da se pomogne sadašnjim generacijama mogao da se pojavi. To može značiti rad na globalnom zdravlju ili mentalnom zdravlju. Ili, možda mislite da postoji još jedno moralno pitanje koje je važnije, kao što je industrijska poljoprivreda.

Želite da pomognete u smanjenju egzistencijalnih pretnji?

Naša generacija može ili pomoći da dođe do kraja svega, ili sprovesti čovečanstvo kroz njegov najopasniji period i postati jedna od najvažnijih generacija u istoriji.

Možemo biti generacija koja omogućava da se dođe do neverovatnog, cvetajućeg sveta, ili ona koja sve dovodi u opasnost.

Kao ljudi koji žele da pomognu svetu, ovde treba da usmerimo svoje napore.

Ako želite da fokusirate svoju karijeru na smanjenje egzistencijalnih pretnji i očuvanje budućnosti čovečanstva, želimo da vam pomognemo. Napisali smo članak u kojem su navedene opcije i koraci koje možete preduzeti da biste započeli.

KAKO KORISTITI KARIJERU DA SMANjITE EGZISTENCIJALNE PRETNjE

Kada pročitate taj članak, ili ako ste već razmišljali o tome šta želite da radite, razmislite o razgovoru sa nama jedan na jedan. Možemo vam pomoći da razmislite o odlukama i da formulišete svoj plan.

Ovo bi mogao biti najvažniji vek

Autor Robert Viblin · Objavljeno septembra 2021

Hoće li budućnost čovečanstva biti otkačena ili dosadna? Prirodno je misliti da ako pokušavamo da budemo trezveni i odmereni, i da predvidimo šta će se zaista desiti, a ne da vrtimo uzbudljivu priču, veća je verovatnoća da ćemo biti nekako… dosadni.

Ali postoji i dobar razlog da mislimo da je to jednostavno nemoguće. Ideja da postoji dosadna budućnost koja jeu sebi  koherentna je iluzija koja proizilazi iz toga što se ti scenariji ne ispituju previše pažljivo.

Barem tako tvrdi Holden Karnofski – osnivač organizacije GiveWell koja ocenjuje dobrotvorne organzacije i fondacije Open Philanthropy – u svom novom serijalu članaka, “Najvažniji vek“.

Radi se o sledećem: tokom prvih 99% ljudske istorije, globalna ekonomija (u početku uglavnom proizvodnja hrane) rasla je veoma sporo: ispod 0,1% godišnje. Ali od industrijske revolucije oko 1800. godine, rast je eksplodirao na preko 2% godišnje.

Nama u 2020. to zvuči savršeno razumno i kao prirodni poredak stvari. Ali Holden ističe da je to bez presedana, kao i da ne može dugo trajati.

Efekat povećanja složenosti znači da bi za održavanje rasta od 2% za samo 10.000 godina — 5% dužine trajanja čovečanstva — bilo potrebno da svaki pojedinačni atom u galaksiji pretvorimo u ekonomiju veličine čitave današnje Zemlje. Nije vrlo verovatno.

Dakle, koje su opcije? Prvo, možda će rast usporiti, a zatim prestati. U tom slučaju, mi danas živimo u jednom minijaturnom delu istorije života tokom kojeg se svet ubrzano menjao usled stalnog tehnološkog napretka, pre nego što je inteligentna civilizacija trajno stagnirala ili čak propala. Kakvo otkačeno vreme za život!

Alternativno, možda će se rast nastaviti hiljadama godina. U tom slučaju, mi smo na samom početku onoga što bi nužno moralo da postane stabilna civilizacija koja se prostire galaksijom i koja, među ostalim inženjerskim dostignućima, koristi energiju celih zvezda. Tada bismo se nalazili među prvim sićušnim delićima od svih kvadriliona inteligentnih bića koja su ikada postojala. Kakvo otkačeno vreme za život!

Zar ne postoji druga opcija u kojoj je budućnost manje izuzetna, a naš trenutni trenutak nije tako poseban?

Iako puna verzija gornjeg argumenta ima niz napomena, kratak odgovor je „ne baš“. Možda smo u kompjuterskoj simulaciji i naš galaktički potencijal je iluzija, mada to nije ništa manje otkačeno. A možda se najuzbudljiviji događaji neće desiti još generacijama. Ali u kosmičkim razmerama, mi bismo i dalje živeli u najneverovatnijem vremenu univerzuma:

Sam Holden nije bio voljan da prihvati ideju da je današnja civilizacija u čudnoj i privilegovanoj poziciji, ali je na kraju zaključio da su „svi mogući pogledi na budućnost čovečanstva otkačeni“.

U celom serijalu, Holden navodi tehnologije koje bi mogle doprineti da ovo postane najvažnija era u istoriji, uključujući kompjuterske sisteme koji automatizuju istraživanja u nauci i tehnologiji, mogućnost stvaranja „digitalnih ljudi“ na računarima ili same transformativne veštačke inteligencije – i kako bi mogli stvoriti svet mnogo otkačeniji od većine naučne fantastike.

A ako jednostavno projektujemo raspoloživu računarsku snagu ili koristimo predviđanja stručnjaka, možemo dokazati da je šansa da se ove tehnologije pojave tokom našeg života iznad 50%.

Sve ove tehnologije donose potencijal za ogromne prednosti i velike nedostatke. Holden se muči da kaže da se ne treba ni radovati ni očajavati zbog okolnosti u kojima se nalazimo. Njegovo osećanje je „čudna mešavina intenziteta, hitnosti, konfuzije i oklevanja“. U budućnosti, ova pitanja zahtevaju trezveno razmišljanje o tome kako želimo da se budućnost odigra i kako bismo kao vrsta mogli da usmeravamo stvari u tom pravcu.

Ako vam ovakve stvari zvuče ludo, Holden razume – prvi deo svoje karijere proveo je fokusiran na jednostavne načine da pomogne ljudima u siromašnim zemljama. Naravno da ovo zvuči čudno.

Ali on misli da je, ako nastavite da nastojite da činite još više dobra, razumno preći od „stalo mi je do svih ljudi — čak i ako žive na drugom kraju sveta“ preko „stalo mi je do svih ljudi — čak i ako još nisu rođeni“ do „Stalo mi je do svih ljudi — čak i ako su digitalni“.

Ako je ova ideja tačna, šta bi to moglo da znači u praktičnom smislu? Još nismo sigurni. Više Holdenovih misli o posledicama možete videti ovde u serijalu.

Jedna od posledica je da naše akcije mogu imati ogromne uloge, zbog čega je još važnije razmisliti o tome na šta da se fokusiramo.

Neki specifični prioriteti koji izgledaju korisni uključuju:

• Istraživanje usklađivanja VI

• Istraživanje globalnih prioriteta da bi nam dalo više strateške jasnoće

• Građenje zajednica koje ovu ideju shvataju ozbiljno (npr. zajednica efektivnog altruizma)

• Povećanje verovatnoće da vlade mogu donositi promišljene odluke zasnovane na vrednostima

Ali pre svega, moramo da shvatimo ovu ideju ozbiljnije i bolje razumemo njene implikacije.

Da biste saznali više, poslušajte naš intervju sa Holdenom:

Podcast #109: Holden Karnofski o najvažnijem veku

OPŠIRNIJE

Pročitajte ceo serijal

Celu seriju možete pročitati ili poslušati na Holdenovom blogu:

• Svi mogući pogledi na budućnost čovečanstva su divlji

• The Duplicator

• Digitalni ljudi bi bili još veća stvar

• Ovo ne može dalje

• Predviđanje transformativne VI, deo 1: kakva VI?

• Predviđanje transformativne VI, deo 2: koji je teret dokazivanja?

• Da li smo „trend ka“ transformativnoj veštačkoj inteligenciji? (Kako bismo znali?)

• Predviđanje transformativne VI: ukratko metoda „bioloških sidra“.

• Vremenski okviri VI: gde stoje argumenti i „stručnjaci“.

• Kako izvući najbolje iz najvažnijeg veka?

• Poziv na budnost

Saznajte više

• Da li živimo u najuticajnijem vremenu u istoriji? od Vil MekAskil-a, sa nekim razlozima da budete skeptični prema tezi

• Naši podkast epizode sa Vilom o moralnom argumentu protiv napuštanja kuće, mogućnosti da smo na istorijskoj prekretnici, i kulturi efektivnog altruizma i šta dugujemo budućnosti

• Nova škola strpljive dugoročnosti

• Predviđanje TVI sa biološkim markerima od Adžeje Kotre

• Podkast: Predviđanje VI sa Katjom Grejs

• Džozef Karlsmit Izveštaj o tome koliko je računarske snage potrebno da bi se dostigao ljudski mozak

• Modeliranje ljudske putanje Dejvida Rudmana

• Može li napredna veštačka inteligencija pokrenuti eksplozivan ekonomski rast? autora Toma Dejvidsona

• Polu-informativni priori u odnosu na vremenske okvire VIToma Dejvidsona