Dodatak 3: „Bio Reference“ se odnose na ograničavanje, a ne preciziranje, vremenskog okvira veštačke inteligencije

Prethodno sam sažeo metod „Bio Referenci“ Ađeje Kotre za predviđanje transformativne veštačke inteligencije, zvani „Bio Referenci“. Ovde želim da pokušam da razjasnim zašto smatram da je ovaj metod toliko koristan, iako se slažem sa većinom konkretnih stvari koje sam čuo da ljudi govore o njegovim slabostima (ponekad ljudi koji ne mogu da vide zašto bih polagao bilo kakvu nadu u njega uopšte). Par preliminarnih napomena:

Ovaj tekst je verovatno uglavnom interesantan za one koji su skeptični u vezi sa Bio Referencama, i/ili ljude koji se osećaju prilično zbunjeno/agnostično u vezi sa njegovom vrednošću i žele da vide odgovor skepticima.

Ne želim da ostavljam utisak da izbacujem nove kritike „Bio Referenci” i da se zalažem za novu reinterpretaciju. Mislim da se autor „Bio Referenci“ uglavnom slaže sa onim što kažem i o slabostima izveštaja i o tome kako ga najbolje iskoristiti (i mislim da je sam tekst izveštaja u skladu sa ovim).

Sažetak toga o čemu se radi u okviru

Samo da ponovo uspostavimo kontekst, evo nekoliko ključnih citata iz /mog glavnog teksta o biološkim referencama/:

Osnovna ideja je:

Moderni modeli veštačke inteligencije mogu da „nauče“ da obavljaju zadatke putem (finansijski skupog) procesa poznatog kao „obuka“. O obuci možete razmišljati kao o ogromnoj količini pokušaja i grešaka. Na primer,modeli VI za prepoznavanje glasa dobijaju audio datoteku nekoga ko govori, oni pogađaju šta ta osoba govori, a zatim dobijaju pravi odgovor. Radeći to milionima puta, oni „nauče“ da pouzdano prevode govor u tekst. Više: /Obuka/

• Što je veći model VI i što je zadatak složeniji, to više proces obuke [ili „sesija obuke“] košta. Neki modeli VI su veći od drugih; do danas, nijedan nije ni blizu „veliki kao ljudski mozak“ (šta to znači biće razrađeno u nastavku). Više: /Veličina modela i tip zadatka/

• Metoda Bio Referenci postavlja pitanje: „Na osnovu uobičajenih obrazaca koliko košta obuka, koliko bi koštalo obučavanje modela VI velikog kao ljudski mozak da obavlja najteže zadatke koje ljudi rade? I kada će ovo biti dovoljno jeftino da možemo očekivati da će to neko uraditi?” Više: /Procena troškova/

… Okvir pruža način razmišljanja o tome kako bi istovremeno moglo biti tačno da (a) sistemi veštačke inteligencije od pre jedne decenije uopšte nisu delovali toliko impresivno; (b) današnji sistemi veštačke inteligencije mogu da urade mnoge impresivne stvari, ali I dalje osećamo da su daleko od onoga što ljudi mogu da urade; (c) u narednih nekoliko decenija – ili čak narednih 15 godina – lako bi se mogao videti razvoj transformativne VI.

Pored toga, mislim da je vredno napomenuti poente visokog nivoa iz Bio Referenci koje ne zavise od toliko procena i pretpostavki:

U narednoj deceniji verovatno ćemo videti – po prvi put – modele veštačke inteligencije sa uporedivom „veličinom“ sa ljudskim mozgom.

Ako modeli veštačke inteligencije nastave da postaju veći i efikasniji po stopama koje procenjuju Bio Reference, verovatno će postati pristupačni u ovom veku te dostići neke prilično ekstremne prekretnice – „vrhunac” onoga što metoda Bio Referenci smatra da bi moglo biti neophodno. Ovo je teško rezimirati, ali pogledajte okvire „neuronske mreže dugog horizonta“ i „utemeljenja evolucije“ u izveštaju.

Jedan način razmišljanja o ovome je da će u sledećem veku verovatno preći sa „nedovoljno računarske moći da uopšte pokrenemo model ljudske veličine“ na „ekstremno obilje računarske moći, čak i do prilično konzervativnih procena onoga što bi nam moglo biti potrebno .” Računarska moć nije jedini faktor napretka veštačke inteligencije, ali u meri u kojoj drugi faktori (algoritmi, procesi obuke) postanu nova uska grla, verovatno će biti moćnih podsticaja (i više decenija) za njihovo rešavanje.

Stvari sa kojima se slažem u vezi sa slabostima/ograničenjima okvira

Metoda Bio Referenci se „ponaša kao da će“ VI biti razvijena na određen način, a gotovo sigurno neće biti

Bio Reference, u izvesnom smislu, „ponašaju se kao da će” VI biti razvijena na određen način, a to gotovo sigurno neće biti: jednostavna gruba sila pokušaja i grešaka računarski intenzivnih zadataka (kao što je /ovde/ navedeno). Njihove glavne prognoze su zasnovane na toj slici: procenjuju kada će biti dovoljno računara za pokretanje određene količine pokušaja i grešaka, i to se naziva „procenom kada će se transformativna VI razviti“.

Mislim da je malo verovatno da će, ako i kada se razvije transformativna VI, način na koji je razvijena ličiti na ovu vrstu slepih pokušaja i grešaka zadataka “dugog horizonta”.

Ako bih morao da pretpostavim kako će se transformativna VI razviti, to bi bilo više kao:

Prvo, uski sistemi VI se pokazuju vrednim u ograničenom skupu zadataka. (Ovo se već dešava, u ograničenom stepenu, sa, na primer, prepoznavanjem glasa, prevodom i pretragom.)

Ovo dovodi do (a) veće pažnje i finansiranja za VI; (b) više integracije VI u ekonomiju, tako da postaje lakše prikupljati podatke o tome kako ljudi komuniciraju sa VI koji se zatim mogu koristiti za dalju obuku; (c) povećana opšta svest o tome šta je potrebno da VI korisno automatizuje ključne zadatke, a samim tim i povećana svest (i pažnja prema) najvećim preprekama da VI bude šira i sposobnija.

Različite vrste uskih VI postaju integrisane u različite delove privrede. Vremenom, povećan broj podataka o obuci, finansiranje i pažnja dovode do toga da su veštačke inteligencije sve manje i manje uske, preuzimajući sve šire i šire delove zadataka koje obavljaju. Ove promene se ne dešavaju samo preko modela VI(i obuka) koji postaju sve veći i veći; takođe su vođeni inovacijama u načinu na koji su modeli VI dizajnirani i obučeni.

U nekom trenutku, neka kombinacija VI je u stanju da /automatizuje dovoljno naučnog i tehnološkog napretka da bude transformativna/. Ne postoji nijedna „master obuka“ gde je jedna veštačka inteligencija obučena da obavlja najteže, najšire zadatke putem slepih pokušaja i grešaka.

Bio Reference „ponašaju se kao da je“ dostupnost računara jedini glavni blokator transformativnog razvoja VI, a verovatno nije

Kao što je navedeno u mom /ranijem tekstu/:

Metoda Bio Referenci mogla bi biti previše agresivna zbog svoje pretpostavke da je „računarska snaga usko grlo“:

Pretpostavlja se da ako bi neko mogao da plati svu računarsku snagu za obavljanje gore opisane „obuke“ grubom silom za ključne zadatke (npr. automatizacija naučnog rada), transformativna VI bi (verovatno) usledila.

Obuka modela VI ne zahteva samo kupovinu računarske snage. Ona zahteva angažovanje istraživača, vođenje eksperimenata i, što je možda najvažnije, pronalaženje načina za postavljanje procesa „pokušaja i greške“ tako da VI može da dobije ogroman broj „pokušaja“ u ključnom zadatku. Može se ispostaviti da je to izuzetno teško.

Veoma je lako zamisliti svetove u kojima transformativna veštačka inteligencija oduzima mnogo više ili manje vremena nego što Bio Reference podrazumevaju, iz razloga koji u suštini uopšte nisu modelovani u Bio Referencama

Kao što je gore navedeno, nastanak transformativne VI mogao bi da potraje veoma dugo iz razloga kao što su „izuzetno je teško dobiti podatke o obuci i okruženja za neke ključne zadatke“ ili „neke zadatke jednostavno nije moguće naučiti čak ni uz velike količine pokušaja i grešaka. ”

Transformativna VI bi se takođe mogla razviti mnogo brže nego što Bio Reference impliciraju. Na primer, neki napredak u tome kako dizajniramo VI algoritme – možda inspirisan neuronaukom – mogao bi da dovede do modela VI koji su u stanju da urade približno sve što ljudski mozak može, bez potrebe za ogromnom količinom pokušaja i grešaka koju Bio Reference procenjuju (na osnovu ekstrapolacija iz današnjih sistema mašinskog učenja).

Ovde sam naveo još ovakvih razmatranja.

Bio Reference ne „preciziraju“ u kojoj godini će se najverovatnije razviti transformativna VI

Moje razumevanje modela klimatskih promena je da oni pokušavaju da ispitaju svaki glavni faktor koji bi mogao prouzrokovati da temperatura bude viša ili niža u budućnosti; da izrade procenu najbolje pretpostavke za svaki; i da ih sve zajedno spoje u jedno predviđanje temperature.

U nekom smislu, o njima možete razmišljati kao o „preciznom određivanju“ (ili čak „simuliranju“) buduće temperature: iako nisu sigurni ili precizni, oni identifikuju određenu, specifičnu temperaturu na osnovu svih glavnih faktori koji bi ga mogli podići ili dole.

Mnogi drugi slučajevi u kojima neko procenjuje nešto neizvesno (npr. buduća populacija) imaju slična svojstva.

Metoda Bio Referenci nije takva. Postoje faktori koje ignoriše, a koji su danas prepoznatljivi i skoro sigurno značajni. Dakle, u nekom važnom smislu, ne „određuje“ se najverovatnija godina za razvoj transformativne VI.

(Nije fokus ovog dela) Procene u metodi Bio Referenci su veoma nesigurne

Bio Reference procenjuju neke stvari koje je teško proceniti, kao što su:

Koliko bi veliki model VI morao da bude da bi bio „velik kao ljudski mozak“ u nekom relevantnom smislu. (Za ovo prilagođava detaljan izveštaj Džoa Karlsmita.)

Koliko brzo treba da očekujemo povećanje algoritamske efikasnosti, efikasnosti hardvera i „spremnosti da se troši na VI“ u budućnosti – sve to utiče na pitanje „koliko će veliki trening VI biti pristupačan“. Njegove procene ovde su veoma jednostavne i mislim da ima mnogo prostora za poboljšanje, mada ne očekujem da će se kvalitativna slika radikalno promeniti.

Priznajem značajnu nesigurnost u ovim procenama i priznajem da (sve ostalo jednako) neizvesnost /znači da treba da budemo skeptični/.

Imajući to u vidu:

Mislim da su ove procene verovatno prilično blizu najboljem što danas možemo da uradimo sa informacijama koje imamo.

Mislim da su ove procene dovoljno dobre za potrebe onoga što ću u nastavku reći o vremenskim okvirima transformativne VI.

Ne planiram da više branim ovu poziciju ovde, ali možda u budućnosti, ako dobijem mnogo neslaganja.

Bio Reference kao način ograničavanja vremenskih okvira VI

Uz sve gore navedene slabosti koje su priznate, evo nekih stvari u koje verujem o vremenskim okvirima veštačke inteligencije, koje su u velikoj meri zasnovane na analizi metodom Bio Referenci:

Bio bih barem blago iznenađen da transformativna VI ne bude razvijena do 2060. godine. Verovatnoću transformativne VI do tada stavljam na 50% (u nastavku objašnjavam kako funkcioniše veza između „blagog iznenađenja“ i „50%“); Mogao bih da budem “saosećajan” sa nekim ko je rekao da je 25% ili 75%, ali bi mi bilo teško da vidim odakle neko dolazi ako izađe van tog opsega. /Više/

Bio bih vrlo iznenađen da transformativna VI ne bude razvijena do 2100. Procenio sam verovatnoću transformativne VI do tada na 2 prema 3; Mogao bih da budem saosećajan sa nekim ko je rekao da je 1 od 3 ili 80-90%, ali bi bilo teško videti odakle neko dolazi ako bi izašao van tog opsega. /Više/

Transformativna veštačka inteligencija do 2036. izgleda verodostojno i konkretno zamislivo, ali ne izgleda kao dobro podrazumevano očekivanje. Mislim da je verovatnoća transformativne VI do tada najmanje 10%; Mogao bih da budem saosećajan sa nekim ko je rekao da je 40-50%, ali bi mi bilo teško da vidim odakle neko dolazi ako kaže da je <10% ili >50%. /Više/

Bio bih barem blago iznenađen da transformativna VI ne bude razvijena do 2060.

Ovo je uglavnom zato što će, prema metodi Bio Referenci, tada biti pristupačno raditi neke apsurdno velike obuke – verovatno najveće koje bi se mogle zamisliti da treba da se urade, na osnovu korišćenja /modela VI 10 puta većeg od ljudskog mozga i zadataka koji zahtevaju ogroman broj računanja da se obave čak i jednom/. U nekom važnom smislu, mi ćemo „plivati u računarstvu“. (Više o ovoj intuiciji u Zabavi sa +12 OOM računarskih moći.)

Ali takođe je važno da je 2060. za 40 godina od sada, što je 40 godina za:

Razvijanje sve efikasnijih algoritama VI , od kojih bi neki mogli biti velika otkrića.

Povećanje broja kompanija i preduzeća orijentisanih na veštačku inteligenciju, prikupljajući podatke o ljudskoj interakciji i fokusirajući sve veću pažnju na stvari koje trenutno blokiraju široke primene.

S obzirom na već rastuću količinu investicija, talenata i potencijalnih aplikacija za današnje sisteme veštačke inteligencije, čini se da je 40 godina prilično dugo vreme za veliki napredak na ovim frontovima. Konteksta radi, 40 godina je otprilike onoliko vremena koje je prošlo između pojave Apple IIe i sada.

Kada je reč o prevođenju mog „osećaja blagog iznenađenja“ u verovatnoću (pogledajte ovde da steknete osećaj šta pokušavam da uradim kada govorim o verovatnoćama; očekujem da ću pisati više o ovoj temi u budućnosti):

Na većini tema izjednačavam “Bio bih blago iznenađen da se X nije desilo“ sa nečim poput 60-65% šanse da se X desi. Ali u ovoj temi, mislim da postoji /teret dokaza/ (što smatram značajnim, iako ne preovlađujućim), i ja sam sklon da svoje procene donekle smanjim. Dakle, kažem da postoji oko 50% šanse za transformativnu VI do 2060.

Bio bih saosećajan kada bi neko rekao „40 godina mi se ne čini dovoljno; Mislim da je više kao 25% šanse da ćemo videti transformativnu veštačku inteligenciju do 2060. Ali ako bi neko to stavio na manje od 25%, počeo bih da razmišljam: Stvarno? Odakle ti to? Zašto misliš da postoji <25% šanse da ćemo razviti transformativnu veštačku inteligenciju do godine u kojoj izgleda da ćemo plivati u računarskim moćima, sa dovoljno za najveće potrebne obuke prema našim najboljim procenama, sa 40 godina koje su prošle između današnjeg bum-a VI i 2060. da otkrijemo mnogo drugih blokatora?“

Sa druge strane, bio bih saosećajan kada bi neko rekao „Ova procena deluje previše konzervativno; 40 godina bi trebalo da bude dovoljno lako; Mislim da je više kao 75% šanse da ćemo imati transformativnu veštačku inteligenciju do 2060. Ali ako bi neko to stavio na više od 75%, počeo bih da razmišljam: „Stvarno? Odakle ti to? Transformativna veštačka inteligencija još se /ne čini kao da je iza ugla/, tako da ovo izgleda kao malo previše samopouzdanja za događaj koji traje oko 40 godina.”

Bio bih vrlo iznenađen da transformativna VI ne bude razvijena do 2100.

Do 2100. godine, metoda Bio Referenci predviđa da će biti pristupačno ne samo da se rade gotovo komično velike obuke (opet na osnovu /pretpostavljene veličine modela i cene po pokušaju rađenja zadataka/), već i da se izvrši onoliko proračuna koliko su sve životinje u istoriji zajedno, kako bi se ponovo stvorio napredak koji je napravljen prirodnom selekcijom.

Pored toga, 2100. je 80 godina od sada – duže od vremena koje je proteklo od kada su programibilni digitalni računari uopšte razvijeni.To je dosta vremena za pronalaženje novih pristupa algoritmima veštačke inteligencije, integrisanje veštačke inteligencije u ekonomiju, prikupljanje podataka o obuci, rešavanje slučajeva u kojima se čini da trenutni sistemi VI ne mogu da nauče određene zadatke, itd.

Meni se čini da je 2100. „Otprilike najdalja tačka do koje bih mogao da ispričam priču koja se čini razumnom, a možda i dalje od toga“. Shodno tome, bio bih vrlo iznenađen da transformativna VI ne bude razvijena do tada, a tome dajem oko /2/3 šanse/. I:

Bio bih saosećajan kada bi neko rekao „Pa, mnogo toga ne znamo, a mnogo toga treba da se desi – mislim da postoji samo 50% šanse da ćemo videti transformativnu veštačku inteligenciju do 2100. godine.“ Čak bih bio pomalo saosećajan ako bi mu dali šansu 1 od 3. Ali ako bi neko to stavio na manje od 1/3, zaista bih imao problema da vidim odakle takvo mišljenje dolazi.

Bio bih saosećajan kada bi neko stavio verovatnoću za „transformativnu veštačku inteligenciju do 2100.“ na više od 80-90%, ali s obzirom na poteškoće u predviđanju ovakvih stvari, zaista bih imao problema da vidim odakle njihovo mišljenje dolazi ako bi ako prešli preko 90%.

Transformativna VI do 2036. izgleda uverljivo i konkretno zamislivo, ali ne izgleda kao dobro podrazumevano očekivanje

Metoda Bio Referenci izlaže konkretne, verodostojne scenarije u kojima postoji dovoljno pristupačnog računara za obuku transformativne veštačke inteligencije do 2036. (link). Znam neke istraživače veštačke inteligencije koji smatraju da su ovi scenariji više nego verodostojni – njihova intuicija im govori da su /džinovske sesije treninga/ koje su zamislile Bio Reference nepotrebne i da su agresivnije /Reference/ u izveštaju potcenjena.

Takođe mislim da metoda Bio Referenci malo potcenjuje argumente za „transformativnu veštačku inteligenciju do 2036. godine“, jer je teško reći kakve će posledice imati trenutni bum ulaganja u i interesovanja za VI. Ako će VI uskoro postati primetno veći deo ekonomije (definitivno „ako“, ali kompatibilan sa nedavnim tržišnim trendovima), to bi moglo rezultirati brzim poboljšanjima u mnogim mogućim dimenzijama. Konkretno, može postojati povratna sprega u kojoj nove profitabilne aplikacije VI podstiču više ulaganja u VI, što zauzvrat podstiče brža poboljšanja nego što se očekivalo u efikasnosti algoritama i računanja VI, što zauzvrat vodi do profitabilnijih aplikacija… itd.

Imajući sve ovo u vidu, mislim da je verovatnoća transformativne VI do 2036. najmanje 10%, i nemam mnogo razumevanja za nekoga ko kaže da je manja.

I pored toga, sve gore navedeno svodi se na „mogli“ i „moći“ – čini se da svaki argument koji sam čuo za „transformativnu veštačku inteligenciju do 2036.“ zahteva niz nesigurnih delova da bi se sve postavilo na svoje mesto.

Ako se /zadaci „dugog horizonta“/ pokažu važnim, Bio Reference pokazuju da je teško zamisliti da će biti dovoljno računara za potrebne trenažne sesije.

Čak i ako ima dovoljno računarske moći, 15 godina možda neće biti dovoljno vremena za rešavanje izazova kao što je sastavljanje pravih podataka o obuci i pravih okruženja.

Svakako je moguće da će neka sasvim drugačija paradigma da se pojavi – možda inspirisana neuronaukom – i transformativna VI će biti razvijena na načine koji uopšte ne zahtevaju “trenažne sesije” poput Bio-referenci. Ali ne vidim nikakav poseban razlog da očekujem da će se to dogoditi u narednih 15 godina.

Tako da takođe nemam mnogo saosećanja za ljude koji misle da postoji >50% šanse za transformativnu veštačku inteligenciju do 2036.

Suština

Metoda bio referenci se malo razlikuje od “uobičajenog“ pristupa proceni stvari. Ne “precizira“ verovatne datume za transformativnu VI; ne modeluje sve ključne faktore.

Ali mislim da je to veoma korisno – u kombinaciji sa neformalnim rasuđivanjem o faktorima koje ne modelira – za „ograničavanje“ vremenskih okvira transformativne VI: davanje različitih izjava u skladu sa „Bilo bi iznenađujuće da se transformativna VI ne razvije do ___“ ili „Mogli biste braniti ___% verovatnoću do takvog datuma, ali mislim da bi sa verovatnoćom od ___% bilo teško složiti se.“

I takva vrsta „ograničavanja“izgleda prilično korisna za svrhu do koje mi je najviše stalo: odlučivanje koliko ozbiljno da shvatim mogućnost /najvažnijeg veka/. Moje mišljenje je da je ova mogućnost veoma ozbiljna, iako daleko od izvesnosti, a Bio Reference su za mene važan deo te slike.