Dodatak 2: Slabe tačke u “Najvažnijem veku“: Učvršćivanje

Ovo je drugi u kratkom nizu članaka koji pokrivaju ono što vidim kao najslabije tačke u /serijalu “Najvažniji vek“/. (Prvi je /ovde/.)

Slaba tačka koju ću ovde pokriti je diskusija o ”učvrščivanju“: ideja da transformativna VI može dovesti do društava koja su stabilna milijardama godina. Ako je tačno, to znači da bi to kako stvari idu u ovom veku moglo uticati na to kakav je život u predvidljivom, sistematskom smislu u predstojecoj nesagledivoj količini vremena.

Moje glavno tretiranje ove teme je u /odeljku mog ćlanka o digitalnim ljudima/. Prilično je neprecizna, nije jako temeljna i nije podržana detaljnim tehničkim izveštajem (iako se povezujem sa nekim neformalnim beleškama fizičara Džesa Ridela koje je napravio dok je radio u Open Philanthropy).

Overcoming Bias blog me je kritikovao po ovom pitanju, što je dovelo do kratke diskusije u komentarima.

Neću biti mnogo detaljniji ili ubedljiviji ovde, ali ću reći nešto više o tome kakav je uticaj na sveukupni argument o “najvažnijem veku“ ako zanemarimo ovaj deo, i nešto više o tome zašto smatram “učvršćivanje” uverljivim.

(Takođe imajte na umu da će se o “učvršćivanju“ pobliže raspravljati u knjizi Vila MekAskil-a, Šta dugujemo budućnosti.)

U ovom članku, koristiću “učvršćivanje“ kao “ključne stvari u društvu, kao što je ko je na vlasti ili koje su religije/ideologije dominantne, učvršćene su na neodređeno vreme, verovatno na milijarde godina“, i “dinamizam“ ili “nestabilnost“ kao suprotno od toga: “takve stvari se menjaju u mnogo kraćim vremenskim horizontima, kao što su decenijame/vekovi/milenijumi“. Kao što je /ranije/ napomenuto, smatram da je “učvršćivanje“ podrazumevano zastrašujuća mogućnost, mada je zamislivo da bi određene vrste učvršćivanja (npr. zaštita ljudskih prava) mogle biti dobre.

“Najvažniji vek“ minus “učvršćivanje“

Prvo, hajde da vidimo šta se dešava ako odbacimo ceo ovaj deo argumentacije i pretpostavimo da “učvršćivanje“ uopšte nije mogućnost, ali prihvatimo /ostatak tvrdnji/. Drugim rečima, pretpostavljamo da:

Će nešto poput /PASTA/ (napredna veštačka inteligencija koja automatizuje naučni i tehnološki napredak) verovatno biti razvijeno u ovom veku.

Bi to zauzvrat dovelo do /eksplozivnog naučnog i tehnološkog napretka/, što bi rezultiralo svetom koji vode /digitalni ljudi/ ili /neusklađena veštačka inteligencija/ ili nešto drugo zbog čega bi bilo pošteno reći da smo “prešli u stanje u kojem ljudi, kakvim ih mi znamo, više nisu glavna sila u svetskim događajima“.

To ipak ne bi dovelo do toga da bilo koji određeni aspekt sveta bude trajno uklesan. Ostale bi milijarde godina pune nepredvidivih razvoja događaja ispred nas.

U ovom slučaju, mislim da još uvek postoji važan smisao po kojem bi ovo bio “najvažniji vek za čovečanstvo“: to bi bila naša poslednja šansa da oblikujemo tranziciju iz sveta kojim upravljaju ljudi u svet kojim upravlja nešto veoma različito od ljudi. Ovo je jedna od /dve date/ definicije “najvažnijeg veka“.

U širem smislu mislim da u ovom slučaju postoji važan smisao po kojem bi /serijal “Najvažniji vek“/ trebalo smatrati jednim “ukazivanjem na drastično potcenjeno pitanje; ispravno u svojim najkonsekventnijim, kontroverznim implikacijama, ako ne i u svim detaljima.” Kada ljudi govore o najznačajnijim pitanjima našeg vremena (zapravo, čak i kada konkretno govore o /verovatnim posledicama napredne veštačke inteligencije/), oni retko uključuju mnogo diskusija o onim pitanjima koja su naglašena u ovom serijalu; i trebalo bi, bez obzira da li je ovaj serijal tačan u pogledu mogućnosti “učvršćivanja“.

Kao što je /navedeno/, na kraju mi je više stalo do toga da li je serijal o “najvažnijem veku“ tačan u tom smislu – ukazivanja na drastično potcenjena pitanja – nego do toga koliko je verovatno da će taj naslov na kraju da opisuje stvarnost. (Iako mi je stalo do oba.) Iz tog razloga mislim da je relativno tanka diskusija o učvršćivanju manje važna “slaba tačka“ od /slabe tačke o kojoj sam ranije pisao/, što pokreće pitanje da li bi napredna VI promenila svet veoma brzo ili uopšte značajno.

Ali uključio sam pominjanje učvršćivanja jer mislim da je to realna mogućnost i da bi ulog ovog veka tako bio još veći.

Seciranje “učvrščivanja”

Verovatno je postojalo mnogo ljudi u istoriji (carevi, diktatori) sa ogromnom moći nad svojim društvom i koji bi voleli da stvari nastave tako zauvek. Možda je bilo i trenutaka kada bi demokratski izabrane vlade zauvek “učvrstile“ bar neke stvari o svom društvu, da su mogle.

Ali nisu mogli. Zašto ne?

Mislim da razlozi uglavnom spadaju u nekoliko kategorija, a /digitalni ljudi/ (ili /neusklađena VI/, ali ja ću se fokusirati na digitalne ljude da bi stvari za sada bile jednostavne) mogli bi prilično da promene sliku.

Prvo ću navesti faktore koji se čine posebno podložnim promeni tehnologije, zatim jedan faktor koji se čini manje takvim.

Faktori koji se čine posebno podložnim promeni tehnologijom

Starenje i smrt. Svaka moćna osoba mora u nekom trenutku da umre. Oni mogu pokušati da prenesu moć na decu ili saveznike, ali mnogo se menja u primopredaji (a tokom veoma dugih vremenskih perioda, ima mnogo primopredaja).

Digitalni ljudi ne moraju da stare ili umiru. (Šire gledano, čini se da će dovoljan napredak u nauci i tehnologiji prilično verovatno biti u stanju da eliminiše starenje i smrt, čak i ako ne preko tehnologije digitalnih ljudi.) Dakle, ako bi neki određeni skup njih imao moć nad nekim određenim delom galaksije, smrt i starenje ne treba uopšte da se razmatraju ovde.

Ostale promene stanovništva. Vremenom se sastav bilo koje date populacije menja, a posebno, svaka generacija zamenjuje prethodnu. Ovo ima tendenciju da dovede do promena u vrednostima i dinamici moći.

Bez starenja ili smrti, i sa ekstremnom produktivnošću, mogli bismo brzo da iscrpimo nosivi kapacitet bilo koje određene oblasti – tako da to područje možda uopšte neće videti promene u sastavu stanovništva (ili bi moglo videti mnogo manje, kontrolisanije promene od onih na kakve smo navikli danas – nema slučajeva da se čitava generacija zameni novom). Generacijska promena izgleda kao prilično veliki pokretač dinamičnosti do danas.

Haos. Do danas, čak i kada neka vlada zvanično “upravlja“ društvom, ona ima veoma ograničenu mogućnost da nadgleda i interveniše u stvarima koje se dešavaju. Ali mislim da je dosadašnji tehnološki napredak već uveliko povećao sposobnost vlade da vrši kontrolu nad velikim brojem ljudi i velikom geografskom površinom. Eksplozija naučnog i tehnološkog napretka mogla bi značajno dodatno povećati kontrolu vlada nad onim što se dešava.

(Digitalni ljudi predstavljaju ekstreman primer: kontrolisanje servera koji radi u virtuelnom okruženju značilo bi da možete da nadgledate i kontrolišete sve vezano za te ljude u tom okruženju. A moćne figure bi mogle da stvaraju mnogo svojih kopija za nadgledanje i sprovođenje odluka.)

Prirodni događaji. Sve vrste stvari mogu poremetiti ljudsko društvo: promene u vremenu/klimi, manjak resursa, itd. Dovoljan napredak u nauci i tehnologiji mogao bi dovesti ovu vrstu poremećaja na izuzetno niske nivoe (a posebno, /digitalni ljudi/ imaju prilično ograničene potrebe za resursima, tako da im resursi ne ponestaju milijardama godina).

Traženje poboljšanja. Dok bi neki diktatori i carevi možda radije zadržali stvari onakvima kakve jesu zauvek, većina današnjih vlada nema tu težnju: izabrani zvaničnici sebe vide kao odgovorne velikom broju stanovnika čije živote pokušavaju da poboljšaju.

Ali dramatičan napredak u nauci i tehnologiji bi značio dramatično veću kontrolu nad svetom, kao i potencijalno manji prostor za dalje poboljšanje (uopšteno očekujem da stopa poboljšanja u /nekom trenutku mora da se smanji/). Ovo bi moglo učiniti sve verovatnijim da neka vlada ili država odluči da bi radije ustalili zatečeno stanje.

Ali da li se ovi faktori mogu eliminisati tako temeljno da bi izazvali stabilnost tokom milijardi godina? Mislim da da, kada bi dovoljno društva bilo digitalno (npr. /digitalni ljudi/, tako da bi oni koji traže stabilnost mogli da koriste digitalno ispravljanje grešaka (u suštini, pravljenje više kopija bilo koje ključne stvari, što se može koristiti za vraćanje bilo čega što se promeni iz bilo kog razloga – za više, pogledajte neformalne beleške Džesa Ridela, prema kojima bi se digitalna korekcija grešaka mogla koristiti za dostizanje prilično ekstremnih nivoa stabilnosti).

Opipljiv primer ovde bi bila /strogo kontrolisana virtuelna okruženja/, koja sadrže /digitalne ljude/, programirane da potpuno resetuju (ili resetuju ključna svojstva) ako se bilo koja ključna stvar promeni. Oni predstavljaju jedan hipotetički način suštinskog eliminisanja svih gore navedenih faktora kao izvora promena.

Ali čak i ako želimo da izbegnemo razmišljanje o takvim specifičnim scenarijima, mislim da postoje uopšteniji argumenti u korist eksplozivnog naučnog i tehnološkog napretka koji radikalno smanjuju ulogu svakog od gore navedenih faktora, kao što je gore navedeno.

Naravno, samo zato što bi neka vlada mogla da postigne “učvršćivanje“ ne znači da hoće. Ali tokom dovoljno dugog vremenskog perioda, čini se da bi društva “protiv učvršćivanja“ jednostavno dobila sve više šansi da postanu društva “za učvršćivanje“, dok bi čak i nekoliko godina “učvršćivanja“ društva moglo dovesti do neograničenog učvršćivanja. (A u svetu /digitalnih ljudi/ koji rade mnogo brže od ljudi, mnogo “vremena“ bi moglo da prođe do kraja ovog veka.)

Faktor koji izgleda manje podložan promeni tehnologijom: konkurencija između društava

Čak i kada bi vlada imala potpunu kontrolu nad svojim društvom, to ne bi osiguralo stabilnost, jer napad uvek može doći spolja. I za razliku od gore navedenih faktora, ovo nije nešto što se čini da će se radikalni napredak u nauci i tehnologiji posebno promeniti: u svetu digitalnih ljudi, vlade bi i dalje mogle da napadaju jedna drugu i mogle bi da pregovaraju jedna sa drugom uz pretnju napadom u pozadini.

Ovo bi moglo da izazove trajno stanje nestabilnosti u kojem se svet stalno menja. Ovo je poenta koju naglašava kritika iz Overcoming Bias.

Mislim da bi ova dinamika mogla – a možda i ne – biti trajni izvor dinamičnosti. Neki razlozi protiv:

Ako bi veštačka inteligencija izazvala eksploziju u naučnom i tehnološkom napretku, onda ko god da je prvi razvije mogao bi brzo da postane veoma moćan – biti „prvi koji je razvio /PASTA/ za nekoliko meseci“ moglo bi efektivno da znači razvoj ekvivalenta viševekovnog liderstva u nauci i tehnologiji nakon toga. Ovo bi moglo dovesti do konsolidacije moći na Zemlji, a van Zemlje /nema znakova inteligentnog života/ – tako da bi to mogao biti kraj dinamike “napada“ kao faktora nestabilnosti.

Svest o gore navedenom riziku mogla bi da dovede do toga da glavne sile eksplicitno pregovaraju i podele galaksiju, obavezujući se (možda uz elemente prinude, u zavisnosti od toga kako tehnološki razvitak bude tekao) da nikada neće zadirati na teritoriju jedne druge. U ovom slučaju, ni jedan određeni deo galaksije ne bi bio podložan napadima.

Moglo bi se ispostaviti da je svemirska naselja generalno lakše braniti nego napadati, tako da kada ih neko uspostavi, ona u suštini nisu podložna napadu.

Bilo šta od gore navedenog, ili kombinacija (npr. napadi su mogući, ali rizični i skupi; svetske sile su odlučile da ne napadaju jedna drugu kako ne bi izazvale rat), može dovesti do trajnog nestanka vojne konkurencije kao faktora, i otvaraju mogućnost nekim vladama da “učvrste“ ključne karakteristike svojih društava.

Tri kategorije dugoročne budućnosti

Gore sam naveo neke faktore koji će možda – a možda i neće – nastaviti da budu izvori dinamičnosti čak i nakon eksplozivnog naučnog i tehnološkog napretka. Mislim da sam počeo da dajem razloge zašto bi, u najmanju ruku, izvori dinamike mogli biti znatno smanjeni u slučaju digitalnih ljudi ili druge radikalno napredne tehnologije, u poređenju sa današnjom.

Sada želim da podelim različite moguće budućnosti u tri široke kategorije:

Potpuno diskreciono učvršćivanje. Ovo je situacija u kojoj data vlada (ili koalicija ili neki ujedinjeni entiteti) može suštinski da učvrsti bilo koje osobine koju odabere u svom društvu na neodređeno vreme.

Ovo bi se moglo desiti ako u suštini svaki izvor dinamičnosti koji je gore naveden nestane, a vlade odluče da nastave sa učvršćivanjem.

Predvidljiva konkurentska dinamika. Mislim da je izvor dinamičnosti koji će najverovatnije opstati (u svetu /digitalnih ljudi/ ili uporedivo napredne nauke i tehnologije) poslednji o kojem se govori u gornjem odeljku: vojna konkurencija između naprednih društava.

Međutim, mislim da bi to moglo da opstane na način koji čini dugoročne rezultate važno predvidljivim. U stvari, mislim da su „bitno predvidljivi dugoročni ishodi“ deo vizije koju implicira kritika Overcoming Bias, po kojoj će svet morati da bude skoro isključivo naseljen bićima koja provode skoro celo svoje postojanje radeći (je će se stanovništvo povećati do te mere da je potrebno stalno raditi samo radi preživljavanja).

Ako završimo sa svetom punim digitalnih bića koja imaju potpunu kontrolu nad svojim okruženjem osim što moraju da se nose sa vojnom konkurencijom drugih, mogli bismo očekivati da će postojati jaki pritisci za digitalna bića koja su najambicioznija, najproduktivnija, najbolji radnici, najagresivniji, itd. da ona budu ta koja nasele veći deo galaksije. To mogu biti bića koja ne rade ništa drugo osim prikupljanja resursa.

Prava dinamičnost. Umesto sveta u kojem vlade (i/ili većina njihovih birača) učvršćavaju osobine koju žele ili sveta u kojem se digitalna bića takmiče sa uglavnom predvidljivim posledicama, mogli bismo dobiti svet u kome postoji istinska sloboda i dinamičnost – možda namerno očuvani postavljanjem specifičnih mera da se zaustave gore navedene dve mogućnosti i nametne određeni nivo različitosti, pa čak i slučajnosti.

Nakon što sam naveo ove mogućnosti, želim da postavim hipotezu da ako bismo mogli da završimo sa bilo kojom od ove tri, a ovaj vek određuje sa kojom (ili kojom mešavinom) ćemo završiti, to predstavlja prilično dobar argument da će ovaj vek imati posebno značajne posledice, a time je najvažniji vek svih vremena za inteligentni život.

Na primer, recimo da je sa današnje tačke gledišta podjednako verovatno da ćemo dobiti (a) svet u kome moćne vlade koriste “učvršćivanje“, (b) svet u kome nesputana konkurencija vodi galaksiji do toga da dominiraju jaki/produktivni/agresivni, ili (c) istinski dinamičan svet u kome su budući događaji nepredvidivi i važni. U tom slučaju, ako završimo sa (c), i budući događaji na kraju budu izuzetno zanimljivi i konsekventni, smatrao bih da bi na kraju ipak najvažniji događaj svih vremena bilo samo uspostavljanje upravo te dinamike. (S obzirom da su druga dva mogla na kraju da odrede oblik galaktičke civilizacije na duge staze.)

Drugi način da se ovo izrazi: ako je učvršćivanje (i/ili predvidljiva dinamika konkurencije) ozbiljna mogućnost od početka ovog veka, prilika da se to spreči mogla bi ovaj vek učiniti najvažnijim.

Na kraju krajeva

Ovo je bilo dosta detalja o radikalno nepoznatim budućnostima, i čitaoci mogu imati osećaj u ovom trenutku da su stvari postale previše specifične i složene da bi im se pridalo mnogo značaja. Ali mislim da su široke intuicije ovde prilično jednostavne i čvrste, tako da ću dati rezime višeg nivoa:

Naučni i tehnološki napredak može smanjiti ili eliminisati mnoge današnje izvore nestabilnosti, od starenja i smrti do haosa i prirodnih događaja. Eksplozija naučnog i tehnološkog napretka mogla bi stoga dovesti do velikog opadanja dinamičnosti. (I kao jedan živopisan primer, digitalni ljudi bi mogli da postave strogo kontrolisana virtuelna okruženja sa veoma robusnom korekcijom grešaka – nešto što smatram zastrašujućom mogućnošću, kao što je navedeno u uvodu.)

Dinamičnost može i ne mora ostati, u zavisnosti od brojnih faktora o tome koliko će moć biti konsolidovana na kraju i kako se različite vlade/društva odnose jedni prema drugima. „Može ili ne mora“ se može odrediti u ovom veku.

Mislim da je ovo dovoljno ozbiljna mogućnost da povećava ulog „najvažnijeg veka“, ali daleko sam od potpunog uverenja u ovo razmišljanje, i mislim da bi većina smisla hipoteze “najvažnijeg veka“ opstala čak i ako zaboravimo na sve to.

Nadam se da su ove dodatne misli bile koristan uvid u kontekst iz kojeg nastupam, ali i dalje priznajem da je ovo jedan od nedovoljno razvijenih delova serije i zainteresovan sam za dalje istraživanje teme.