Categories
Najvažniji vek

Predviđanje transformativne VI: ukratko o metodi bio-referenci

Ovo je jedna od četiri objave koje sumiraju stotine stranica tehničkih izveštaja koji su skoro u potpunosti fokusirani na predviđanje jednog broja: godine do koje će se razviti transformativna VI. (1)

Pod „transformativnom veštačkom inteligencijom“ mislim na „dovoljno moćnu veštačku inteligenciju da nas uvede u novu, kvalitativno drugačiju budućnost“. 

Posebno se fokusiram na ono što nazivam PASTA: sistemi veštačke inteligencije koji u suštini mogu da automatizuju sve ljudske aktivnosti potrebne za ubrzanje naučnog i tehnološkog napretka. Što pre se PASTA razvije, to bi se svet pre mogao radikalno promeniti, i čini se da je danas važnije razmišljati o tome kako da ta promena prođe dobro a ne loše.

Ova objava je sažetak za laike „Prognoziranja transformativne VI metodom Bio Referenci“ Adžeje Kotre (koji ću skratiti ispod kao „Bio Reference“), i njegovih prednosti i nedostataka. (2) To je prognoza za koju smatram da je najinformativnija za transformativnu VI, sa nekim upozorenjima:

  • Ovaj pristup je relativno složen i zahteva prilično veliki broj pretpostavki i neizvesnih procena.

  • Stoga, danas, mislim da ovaj metod nije toliko pouzdan kao primeri koje sam prethodno naveo za predviđanje kvalitativno drugačije budućnosti. Nema jednostavnosti i direktnosti nekih od tih primera, kao što je modelovanje širenja virusa COVID-19. I dok je klimatsko modelovanje takođe veoma složeno, na modelovanju klime je radio veliki broj stručnjaka tokom decenija, dok metodologija Bio Referenci nema dugu istoriju. Bez obzira na to, mislim da je to najbolja dostupna metodologija „najbolje procene“ za vremenske okvire transformativne VI počev od danas.

I kao što je objašnjeno u završnom delu, možemo se odmaknuti od mnogih detalja da bismo videli da će u ovom veku verovatno doći do nekih od „ekstremnijih“ prekretnica u izveštaju koji snažno sugerišu izvodljivost transformativne VI.

(Napomena: Napisao sam i naknadni post o ovom okviru za skeptične čitaoce. Obratite pažnju na to da se „Bio Reference“ odnose na ograničavanje, a ne preciziranje vremenskih linija VI.)

Osnovna ideja je:

  • Moderni modeli veštačke inteligencije mogu da „nauče“ da obavljaju zadatke putem (finansijski skupog) procesa poznatog kao „obuka“. O treningu možete razmišljati kao o ogromnoj količini pokušaja i grešaka. Na primer, VI modeli za prepoznavanje glasa dobijaju audio datoteku nekoga ko govori, pogađaju šta osoba govori, a zatim dobija pravi odgovor. Radeći to milionima puta, oni „nauče“ da pouzdano prevode govor u tekst. Više: Obuka

  • Što je veći VI model i što je zadatak složeniji, to više košta proces obuke. Neki VI modeli su veći od drugih; do danas, nijedna nije ni blizu „velika kao ljudski mozak“ (šta to znači, biće objašnjeno u nastavku).  Više: Veličina modela i tip zadatka 

  • metoda Bio Referenci postavlja pitanje: „Na osnovu uobičajenih obrazaca koliko košta obuka, koliko bi koštalo da se obuči VI model velik kao ljudski mozak da obavlja najteže zadatke koje ljudi rade? I kada će ovo biti dovoljno jeftino da možemo očekivati da će to neko učiniti?”  Više: Procena troškova

Metoda Bio Referenci modeluje široku lepezu različitih načina pristupa ovom pitanju, generišući procene u širokom rasponu od „agresivne“ (projektovanje transformativne VI ranije) do „konzervativne“ (kasnije). Ali u suštini iz svih ovih uglova, postavlja veliku verovatnoću na transformativnu veštačku inteligenciju ovog veka.

Ovaj grafikon je iz izveštaja. Možete ugrubo pročitati y-osu kao verovatnoću da je transformativna VI razvijena do godine o kojoj je reč, iako u izveštaju postoje neke dodatne nijanse. Neću objašnjavati šta znači svaki od različitih modela „Uslovno uključeno“; dovoljno je znati da svaki predstavlja drugačiji ugao u predviđanju transformativne VI.

Hvala Mariji Gutijerez Rohas za ovaj grafički prikaz. Najveća vremenska linija daje glavne prekretnice za računarstvo VI, prošlost i budućnost (buduće su projektovane Bio Referencama). Ispod njega su (opsečene) druge vremenske linije koje pokazuju koliko je značajan ovaj period od nekoliko stotina godina (više u /Ovako ne može više/) i ova era (više u /Svi mogući pogledi na budućnost čovečanstva su otkačeni/) izgledaju značajni.

Sada ću detaljnije razraditi svaki od ovih. Ovo je najgušći deo ove serije i neki ljudi bi se možda radije zadržali na gornjem rezimeu i prešli na sledeću objavu.

Imajte na umu da metoda Bio Referenci koristi niz različitih pristupa (koje naziva „referencama“ (eng. sidra)) za procenu vremenskih okvira transformativne VI i kombinuje ih u jedan agregatni prikaz. U ovom rezimeu, najviše sam usredsređen na određeni skup ovih – koji se nazivaju „reference neuronske mreže“ – koji pokreću većinu zbirnih vremenskih okvira izveštaja. Nešto od onoga što kažem odnosi se na sve reference, ali se nešto odnosi samo na „reference neuronske mreže”.

Obuka

Kao što je prethodno objašnjeno, u suštini postoje dva načina da se računar „nauči“ da uradi zadatak: 

1. „Programirati“ u krajnje specifičnim uputstvima korak po korak za dovršavanje zadatka. Kada se to može uraditi, računar generalno može da izvrši uputstva veoma brzo, pouzdano i jeftino. Na primer, možete da programirate računar da pregleda svaki zapis u bazi podataka i odštampa one koji se podudaraju sa terminima za pretragu korisnika – „uputili biste“ ga kako tačno da to izvede, i on bi mogao da uradi zadatak veoma dobro .

2. „Obučiti“ veštačku inteligenciju da uradi zadatak isključivo metodom pokušaja i grešaka. Danas je najčešći način da se to uradi korišćenjem „neuralne mreže“, o kojoj biste mogli misliti kao o „digitalnom mozgu“ koji počinje u nasumičnom stanju: još uvek nije “nabaždaren” da radi određene stvari. Na primer, recimo da želimo da veštačka inteligencija može da kaže da li je na fotografiji pas ili mačka. Teško je dati potpuno konkretna uputstva korak po korak za ovo; umesto toga, možemo uzeti neuronsku mrežu i poslati milion primera slika (svaka je označena kao „pas“ ili „mačka“). Svaki put kada vidi primer, podesiće svoje unutrašnje ožičenje kako bi bila veća verovatnoća da će dobiti pravi odgovor na slične slučajeve u budućnosti. Nakon dovoljno primera, biće naučeno da pravilno prepozna pse u odnosu na mačke. (Možda bismo takođe mogli da pređemo na drugi, meta-nivo i pokušamo da „obučimo“ modele da bi mogli da uče iz samog „treninga“ što je efikasnije moguće. Ovo se zove „meta-učenje“, ali koliko sam shvatio, nije još postiglo veliki uspeh.)

„Obuka“ je neka vrsta grube sile, skupa alternativa „programiranju“. Prednost je u tome što ne moramo biti u mogućnosti da damo konkretna uputstva – možemo samo da damo VI mnogo primera ispravnog rešavanja zadatka – i on će naučiti da uradi zadatak. Nedostatak je što nam treba mnogo primera, što zahteva veliku procesorsku snagu – što košta. 

Koliko? Ovo zavisi od veličine modela (neuronske mreže) i prirode samog zadatka. Za neke zadatke koje je veštačka inteligencija naučila od 2021. godine, obuka jednog modela mogla bi koštati milione dolara. Za složenije zadatke (kao što je „inovativno naučno istraživanje”) i veće modele (koji dostižu veličinu ljudskog mozga), obuka modela mogla bi koštati mnogo više od toga. 

Metoda Bio Referenci je zainteresovana za pitanje: „Kada će biti pristupačno obučiti model, koristeći relativno grub pristup zasnovan na pokušajima i greškama, da obavlja najteže zadatke koje ljudi mogu da urade?“ Ovi zadaci mogu uključivati zadatke neophodne za PASTA-u, kao što su: 

  • Učiti o nauci od nastavnika, udžbenika i domaćih zadataka efikasno koliko čovek može

  • Pomeriti granice nauke postavljanjem pitanja, vršenjem analiza i pisanjem radova, efikasno koliko to čovek može.

U sledećem odeljku će se raspravljati o tome kako metoda Bio Referenci objašnjava ideju o „najtežim zadacima koje ljudi mogu da urade“ (za koje se pretpostavlja da bi se zahtevao model „veličine ljudskog mozga“).

Veličina modela i tip zadatka

Bio Reference pretpostavljaju da možemo proceniti „koliko je skupo trenirati model“ na osnovu dva osnovna parametra: veličine modela i tipa zadatka.

Veličina modela. Kao što je gore navedeno, možete misliti o neuronskoj mreži kao o „digitalnom mozgu“ koji počinje u nasumičnom stanju. Načelno, veći „digitalni mozak“ – sa više digitalnih verzija neurona i digitalnih verzija sinapsi (3) – može naučiti složenije zadatke. Veći „digitalni mozak“ takođe zahteva više proračuna – i stoga je skuplji – svaki put kada se koristi (na primer, za svaki primer iz kojeg uči).

Oslanjajući se na analizu iz knjige Džoa Karlsmita „Koliko je računarske snage potrebno da bi se dosegao ljudski mozak?“ (skraćeno u ovom članku kao „računarska snaga mozga“), Bio Reference procenjuju poređenja između veličine „digitalnih mozgova“ (modeli VI) i „životinjskih mozgova“ (mozak pčele, mozak miša, ljudski mozak). Ove procene impliciraju da su današnji sistemi veštačke inteligencije ponekad veliki kao mozgovi insekata, ali nikada veliki kao mozak miša – od pisanja ovog teksta, najveći poznati jezički model koji je prvi došao razumno blizu (4) – a još uvek nije ni 1% veličine ljudskog mozga. (5)

Što je veći model, to je veća procesorska snaga potrebna za obuku. Bio Reference pretpostavljaju da bi transformativni model VI trebao biti oko 10 puta veći od ljudskog mozga, dakle mnogo veći od bilo kojeg trenutnog modela VI.

(10 puta je da se ostavi malo prostora za ideju da bi „digitalni mozgovi“ mogli biti manje efikasni od ljudskih; pogledajte ovaj odeljak izveštaja.) Ovo je jedan od razloga zašto bi ih bilo veoma skupo trenirati. 

Moglo bi se ispostaviti da je manji model VI i dalje dovoljno velik da nauči gore navedene vrste zadataka. Ili bi se moglo ispostaviti da je potrebna veličina modela veća od procene Bio Referencama, možda zato što su Bio Reference potcenile efektivnu „veličinu“ ljudskog mozga, ili zato što je ljudski mozak bolje dizajniran od „digitalnih mozgova“ i više nego što Bio Reference pretpostavljaju.

Tip zadatka. Da bi naučio zadatak, model VI treba da efikasno „pokuša“ (ili „gleda“) zadatak veliki broj puta, učeći iz pokušaja i greške. Što je zadatak skuplji (u procesorskoj snazi, a samim tim i novcu) zadatak za rešavanje/posmatranje, to će biti skuplje za model VI da to nauči. 

Teško je kvantifikovati koliko je skupo pokušati da se zadatak reši/posmatra. Pokušaj Bio Referenci da to uradi je najsporniji deo analize, prema tehničkim recenzentima koji su ga do sada pregledali.

Možete otprilike zamisliti da okvir Bio Referenci kaže:

  • Postoje neki zadaci koje čovek može da uradi sa samo sekundom razmišljanja, kao što je klasifikovanje slike kao slike mačke ili psa.

  • Postoje i drugi zadaci koji bi čoveku mogli da potraju nekoliko minuta razmišljanja, kao što je rešavanje logičke slagalice.

  • Drugi zadaci mogu trajati satima, danima, mesecima ili čak godinama i zahtevaju ne samo razmišljanje, već interakciju sa okolinom. Na primer, pisanje naučnog rada.

  • Zadaci na dužem kraju ovog spektra će biti skuplji za rešavanje/posmatranje, tako da će biti skuplje obučiti model VI da ih radi. Na primer, skuplje je (potrebno je više vremena i više novca) imati milion „pokušaja“ zadatka koji traje sat vremena nego milion „pokušaja“ zadatka koji traje sekundu.

  • Međutim, okvir nije tako jednostavan kao što zvuči. Mnogi zadaci koji izgledaju kao „dugi“ zadaci (kao što je pisanje eseja) mogu se u stvari podeliti na niz „kraćih“ zadataka (kao što je pisanje pojedinačnih rečenica).

  • Ako se model VI može obučiti da radi kraći „podzadatak“, možda će moći da uradi duži zadatak jednostavnim ponavljanjem kraćeg podzadatka iznova i iznova – bez potrebe da bude eksplicitno „obučen“ da uradi duži zadatak.

  • Na primer, model VI može dobiti milion „pokušaja“ zadatka: „Pročitajte delimično završen esej i napišite dobru sledeću rečenicu.“ Ako tada nauči da dobro radi ovaj zadatak, potencijalno bi mogao napisati dugačak esej jednostavnim ponavljanjem ovog zadatka iznova i iznova. Ne bi trebalo da ide u poseban proces obuke gde dobija milion „pokušaja“ u dugotrajnijem zadatku pisanja celog eseja.

Tako postaje presudno da li su najteži i najvažniji zadaci (kao što su gore navedeni) su vrste koje se mogu „razložiti“ u kratke/lake zadatke.

Procena troškova

Metoda Bio Referenci razmatra koliko su postojeći modeli veštačke inteligencije bili skupi za obuku, u zavisnosti od veličine modela i tipa zadatka (kao što je gore definisano). Zatim ekstrapolira ovo da vidi koliko bi skupo bilo obučavanje modela VI ako bi:

  • bio 10x veći od ljudskog mozga. (6)

  • Bio obučen za zadatak gde su za svaki „pokušaj“ bili potrebni dani, nedelje ili meseci intenzivnog „razmišljanja“.

Danas bi ova vrsta obuke koštala oko milion triliona dolara, što je enormno više od ukupnog svetskog bogatstva. Stoga nije iznenađujuće što niko nije pokušao da obuči takav model.

Međutim, metoda Bio Referenci takođe projektuje sledeće trendove u budućnost:

  • Napredak u hardveru i softveru koji bi mogao da učini računarsku snagu jeftinijom.

  • Rastuća ekonomija i rastuća uloga VI u ekonomiji, što bi moglo povećati količinu VI laboratorija koje su u stanju da potroše na obuku velikih modela na 1 bilion dolara i više.

Prema ovim projekcijama, u nekom trenutku „iznos koji su laboratorije VI u stanju da potroše“ postaje jednak „trošku obuke modela veličine ljudskog mozga za najteže zadatke“. Metoda Bio Referenci zasniva svoje projekcije „kada će transformativna VI biti razvijena“ na osnovu toga kada se to dogodi. 

Metoda Bio Referenci takođe modeluje nesigurnost u svim gore navedenim parametrima i razmatra alternativne pristupe parametrima „veličine modela i tipa zadatka“. (7) Radeći ovo, procenjuje verovatnoću da će transformativna VI biti razvijena do 2030, 2035, itd.

Agresivan ili konzervativan?

Metoda Bio Referenci uključuje brojna pojednostavljenja koja bi mogla da dovedu do toga da bude previše agresivna (očekujući da transformativna VI dođe ranije nego što je realno) ili previše konzervativna (očekuje se da će doći kasnije nego što je realno). 

Argument koji najčešće čujem a koji je “previše agresivan“ je sledeći: „Nema razloga da se misli da veštačka inteligencija zasnovana na modernim metodama može da zaradi sve što čovek radi, koristeći obuku pokušaja i grešaka – bez obzira na to koliki je model i koliko treninga obavlja. Ljudski mozak može razmišljati na jedinstvene načine, bez premca i neuporediv sa bilo kojom VI, osim ako ne smislimo fundamentalno nove pristupe VI.” Ova vrsta argumenata je često praćena izjavom da sistemi veštačke inteligencije ne „stvarno razumeju“ o čemu razmišljaju i/ili da samo imitiraju ljudsko razmišljanje kroz prepoznavanje obrazaca.

Mislim da se ovo može ispostaviti kao tačno, ali ne bih se kladio na to. Potpuna rasprava o tome zašto prevazilazi okvire ove rasprave, ali ukratko:

  • Nisam ubeđen da postoji duboka ili stabilna razlika između „prepoznavanja šablona“ i „pravog razumevanja“ (ovaj deo Kodeksa Slate Star to naglašava). „Pravo razumevanje“ može biti ono što zaista dobro prepoznavanje obrazaca izgleda. Deo mog razmišljanja ovde je intuicija da čak i kada ljudi (uključujući i mene) površno izgledaju da nešto „razumeju“, njihovo rezonovanje se često (čak bih rekao obično) pokvari kada razmotre nepoznat kontekst. Drugim rečima, mislim da je ono što smatramo „istinskim razumevanjem“ više ideal nego stvarnost.

  • Osećam se nezadovoljno iskustvom onih koji su iznosili ovakvu vrstu argumenata – ne osećam da su bili u stanju da precizno odrede kako izgleda „istinsko rasuđivanje“, tako da bi mogli da daju čvrsta predviđanja o tome šta bi se pokazalo teškim za sisteme VI. (Na primer, pogledajte ovu raspravu o najnovijoj kritici GPT3 Gerija Markusa).

  • „Potrebna su neka otkrića / fundamentalni napredak“; možda je ovo tačno. Ali da bi Bio Reference bili preterano agresivne u ovom pogledu, nije dovoljno da su “potrebna neka otkrića”; potrebna otkrića moraju biti više od onoga za šta su naučnici koji se bave VI sposobni u narednim decenijama, vremenskom okviru u kojem metoda Bio Referenci predviđa transformativnu VI. Čini se da je teško biti siguran da će se stvari odvijati na ovaj način – posebno zato što:

    • Čak i umereni napredak u sistemima veštačke inteligencije mogao bi doneti više talenata i finansiranja na terenu (kao što se već dešava). (8)

    • Ako novca, talenata i procesorske moći ima u izobilju, a napredak ka PASTA prvenstveno koči neka posebna slabost u tome kako su sistemi veštačke inteligencije dizajnirani i obučeni, kontinuirani pokušaj istraživača da poprave ovu slabost mogao bi da funkcioniše. Kada govorimo o višedecenijskim vremenskim linijama, to bi moglo biti dovoljno vremena za istraživače da pronađu ono što nedostaje današnjim tehnikama.

U širem smislu, metoda Bio Referenci bi mogla biti previše agresivna zbog svoje pretpostavke da je „računarska snaga usko grlo“:

  • Pretpostavlja se da ako bi neko mogao da plati svu računarsku snagu za obavljanje gore opisane „obuke“ grubom silom za ključne zadatke (npr. automatizacija naučnog rada), transformativna VI bi (verovatno) usledila.

  • Obuka modela VI ne zahteva samo kupovinu računarske snage. Ona zahteva angažovanje istraživača, vođenje eksperimenata i, što je možda najvažnije, pronalaženje načina za postavljanje procesa „pokušaja i greške“ tako da VI može da dobije ogroman broj „pokušaja“ u ključnom zadatku. Može se ispostaviti da je to izuzetno teško. 

S druge strane, postoji nekoliko načina na koje bi i metoda Bio Referenci mogla biti previše konzervativna (potcenjujući verovatnoću da se transformativna VI uskoro razvije). 

  • Možda bi se uz dovoljno domišljatosti mogla stvoriti transformativna VI tako što će se „programirati“ da obavlja ključne zadatke, umesto da se „trenira“ (pogledajte gore za razliku). Ovo bi moglo zahtevati mnogo manje proračuna, a samim tim i mnogo manje troškova. Ili bi se mogla koristiti kombinacija „programiranja“ i „obuke“ da bi se postigla bolja efikasnost nego što metoda Bio Referenci podrazumeva, a da i dalje ne treba da sve snimate putem „programiranja“. 

  • Ili bi se mogli pronaći daleko superiorniji pristupi VI koji se mogu mnogo efikasnije „obučiti“. Jedna od mogućnosti ovde je „meta-učenje“: delotvorna obuka sistema veštačke inteligencije na „zadatku“ da bude obučen sam.

  • Ili možda najverovatnije, vremenom bi VI mogla postati sve veći i veći deo ekonomije, i moglo bi doći do proliferacije različitih VI sistema od kojih je svaki prilagođen i uložen za obavljanje različitih zadataka u stvarnom svetu. Što se više ovo dešava, to je veća mogućnost da individualna genijalnost i sreća rezultiraju više inovacija i sposobnijim sistemima veštačke inteligencije u određenim ekonomskim kontekstima.

  • Možda će u nekom trenutku biti moguće integrisati mnoge sisteme sa različitim sposobnostima kako bi se pozabavili nekim posebno teškim zadatkom kao što je „automatizacija nauke“, bez potrebe za namenskim astronomski skupim „treningom“.

  • Ili će možda veštačka inteligencija koja zaostaje za PASTA-om i dalje biti dovoljno korisna da generiše mnogo novca i/ili pomaže istraživačima da učine računanje jeftinijim i efikasnijim. Ovo bi zauzvrat moglo dovesti do još većih VI modela koji dodatno povećavaju dostupnost gotovine i efikasnost računara. To bi, zauzvrat, moglo dovesti do toga da trening na nivou PASTA bude pristupačan ranije od onoga što Bio Reference projektuju.

  • Pored toga, neki tehnički recenzenti metode Bio Referenci smatraju da je njen tretman tipa zadataka previše konzervativan. Oni veruju da će najvažniji zadaci (a možda i svi zadaci) za koje VI treba da bude obučena biti na „lakšem/jeftinijem“ kraju spektra, u poređenju sa onim što metoda Bio Referenci pretpostavlja. (Pogledajte gornji odeljak da shvatite šta znači da zadatak bude „lakši/jeftiniji” ili „teži/skuplji”). Za srodni argument, pogledajte Zabava sa +12 OOM-a računanja, što intuitivno ukazuje na to da Bio Reference zamišljaju zaista ogromnu količinu izračunavanja koja je potrebna za pravljenje PASTA, a manje bi lako moglo biti dovoljno. 

Mislim da nije očigledno da li je, generalno, metoda Bio Referenci previše agresivna (očekuje da transformativna VI dođe ranije nego što je realno) ili previše konzervativan (očekuje da će doći kasnije). Sam izveštaj navodi da će verovatno biti previše agresivan u narednih nekoliko godina i previše konzervativan više od 50 godina, i verovatno najkorisniji između. (9)

Intelektualno mi se čini da je veća verovatnoća da će izveštaj biti previše konzervativan. Smatram da su njegovi odgovori na gornje tačke „Preagresivno“ prilično ubedljivi, i mislim da je veća verovatnoća da će tačke „Previše konzervativne“ biti tačne. Konkretno, mislim da je teško isključiti mogućnost da domišljatost dovede do transformativne VI na neki daleko efikasniji način od metode „grube sile“ koja se ovde razmatra. I mislim da tretman „tipa zadatka“ definitivno greši u konzervativnom pravcu. 

Međutim, takođe imam intuitivnu preferenciju (koja je povezana sa prethodno datim analizama „tereta dokaza“) da grešim na konzervativnoj strani kada pravim ovakve procene. Sve u svemu, moje najbolje pretpostavke o vremenskim okvirima transformacije VI slične su onima koje dobijamo Bio Referencama.

Zaključci metode Bio Referenci

Bio Reference procenjuju >10% šanse za transformativnu VI do 2036. godine, ~50% šanse do 2055. i ~80% šanse do 2100. godine.

Takođe je vredno napomenuti šta izveštaj kaže o sistemima VI danas. Procenjuje da:

  • Današnji najveći modeli veštačke inteligencije, kao što je GPT-3, malo su manji od mišjih mozgova i počinju da se približavaju (ako bi narasli još 100-1000 puta) ljudskm mozgu. Dakle, uskoro bismo se mogli približiti sistemima veštačke inteligencije koji se mogu obučiti da rade bilo šta što lju3di mogu da urade sa ~1 sekundom razmišljanja. U skladu sa ovim, čini mi se da tek počinjemo da dostižemo tačku u kojoj jezički modeli zvuče kao ljudi koji pričaju bez mnogo razmišljanja. (10) Ako ništa drugo, „čovek koji ulaže ne više od 1 sekunde misli po reči“ izgleda donekle blizu šta GPT-3 radi, iako je mnogo manji od ljudskog mozga.

  • Tek nedavno su modeli veštačke inteligencije postali ovako veliki. „Veliki“ model VI pre 2020. bio bi više u dometu mozga pčele. Dakle, za modele čak i u nedavnoj prošlosti, trebalo bi da se zapitamo da li se čini da su sistemi veštačke inteligencije „pametni poput insekata“. Evo jednog pokušaja da se uporede sposobnosti VI i sposobnosti pčela (od strane stažiste Otvorene filantropije Guille Costa), zaključujući da se čini da su najimpresivnije sposobnosti pčela koje je autor uspeo da precizira izvodljive za sisteme veštačke inteligencije. (11)

Uključujem ove beleške jer:

  • Analiza metode Bio Referenci izgleda potpuno u skladu sa onim što danas posmatramo iz sistema veštačke inteligencije (i imali smo ih tokom poslednje decenije ili dve), a takođe implicira da ćemo verovatno videti više transformativnih sposobnosti u narednim decenijama.

  • Mislim da je posebno vredno pažnje da se približavamo vremenu kada je model VI „velik kao ljudski mozak“ (prema metodi procene Bio Referenci / Brain Computation). Može se ispostaviti da je takav model veštačke inteligencije u stanju da „nauči“ mnogo o svetu i proizvede veliku ekonomsku vrednost, čak i ako još uvek ne može da uradi najteže stvari koje ljudi rade. A ovo bi, zauzvrat, moglo da pokrene naglo ulaganje u VI (i novac i talenat), što bi dovelo do mnogo više inovacija i daljih otkrića. Ovo je jednostavan razlog da se veruje da je transformativna VI do 2036. verovatna. 

Na kraju, napominjem da metoda Bio Referenci uključuje analizu „evolucije“ među različitim pristupima koje razmatra. Ova analiza pretpostavlja da bi, da bi se proizvela transformativna veštačka inteligencija, trebalo da se uradi otprilike onoliko proračuna koliko je i svih životinja u istoriji zajedno, da bi se ponovo stvorio napredak koji je napravljen prirodnom selekcijom. 

Smatram da je analiza „evolucije“ veoma konzervativna, jer je mašinsko učenje sposobno za mnogo brži napredak od one vrste pokušaja i grešaka koja je povezana sa prirodnom selekcijom. Čak i ako neko veruje u nešto u stilu „Ljudski mozak razmišlja na jedinstven način, bez premca i neuporediv sa modernom veštačkom inteligencijom“, čini se da sve što je jedinstveno u ljudskom mozgu treba ponovo da se otkrije ako je neko u stanju da suštinski ponovo – vodi celu istoriju prirodne selekcije. Čak i ova veoma konzervativna analiza procenjuje ~50% šanse za transformativnu veštačku inteligenciju do 2100.

Prednosti i mane metoda Bio Referenci za predviđanje vremenskih linija transformacije VI

Mane. Počeću sa onim što vidim kao najveći nedostatak: ovo je veoma složen okvir za predviđanje, koji se presudno oslanja na više izuzetno nesigurnih procena i pretpostavki, posebno:

  • Da li je razumno verovati da bi sistem veštačke inteligencije mogao da nauči ključne zadatke navedene iznad (one potrebne za PASTA) uz dovoljnu obuku na osnovu pokušaja i grešaka.

  • Kako uporediti veličinu modela VI sa veličinom životinjskog/ljudskog mozga.

  • Kako okarakterisati „tip zadatka“, procenjujući koliko je „težak“ i skup zadatak za „pokušati“ ili „gledati“ jednom.

  • Kako koristiti veličinu modela i tip zadatka da procenite koliko bi bilo skupo obučiti  model VI da obavlja ključne zadatke.

  • Kako proceniti budući napredak i hardvera i softvera koji bi mogao da učini računarsku snagu jeftinijom.

  • Kako proceniti buduća povećanja u tome koliko bi VI laboratorije mogle da potroše modele obuke.

Ova vrsta složenosti i neizvesnosti znači (po meni) da ne bi trebalo da smatramo prognoze visoko pouzdanim, posebno danas kada je ceo okvir prilično nov. Ako bismo došli do tačke u kojoj je u predviđanje veštačke inteligencije uloženo isto toliko pažnje i truda kao i u klimatsko predviđanje, možda bi stvar bila drugačija.

Prednosti. Uz to, metoda Bio Referenci je u suštini jedina za koju znam koja procenjuje vremenske okvire transformativne VI na osnovu objektivnih činjenica (gde je to moguće) i eksplicitnih pretpostavki (na drugim mestima) (12). Ne oslanja se ni na jedan koncept koji je toliko neodređen i intuitivan kao „koliko brzo sistemi VI postaju impresivniji“ (o čemu se ranije govorilo). Svaka pretpostavka i procena u okviru može se objasniti, diskutovati i – tokom vremena – testirati.

Čak I u sadašnjoj ranoj fazi, smatram ovo vrednim svojstvom okvira Bio Referenci. To znači da nam ovaj okvir može dati vremenske procene koje nisu samo ponavljanje intuicija o tome da li se on oseća kao da se transformativna VI približava. (13)

Takođe mislim da je ohrabrujuće da čak i uz sva nagađanja, „predviđanja“ koja okvir daje od danas se mogu testirati i deluju razumno (pogledajte prethodni odeljak). Okvir pruža način razmišljanja o tome kako bi istovremeno moglo biti tačno da (a) sistemi veštačke inteligencije od pre jedne decenije uopšte nisu izgledali veoma impresivno; (b) današnji sistemi veštačke inteligencije mogu da urade mnoge impresivne stvari, ali su i dalje daleko od onoga što ljudi mogu da urade; (c) u narednih nekoliko decenija – ili čak narednih 15 godina – lako bi se mogao videti razvoj transformativne VI. 

Pored toga, mislim da je vredno napomenuti nekoliko koncepata visokog nivoa Bio Referenci koji ne zavise mnogo od procena i pretpostavki:

  • U narednoj deceniji verovatno ćemo videti – po prvi put – modele veštačke inteligencije uporedive „veličine“ sa ljudskim mozgom.

  • Ako modeli veštačke inteligencije nastave da postaju veći i efikasniji brzinom koju Bio Reference procenjuju, verovatno će postati pristupačno u ovom veku da dostignemo neke prilično ekstremne prekretnice – „krajnja granica“ onoga što Bio Reference predviđaju da bi moglo biti neophodno. Ovo je teško rezimirati, ali pogledajte okvire „neuronske mreže dugog horizonta“ i „sidro evolucije“ u izveštaju.

  • Jedan način razmišljanja o ovome je da će u sledećem veku verovatno preći sa „nedovoljnog računara da uopšte pokrenemo model ljudske veličine“ na „ekstremno obilje izračunavanja, čak i do prilično konzervativnih procena onoga što bi nam moglo biti potrebno .” Računanje nije jedini faktor napretka veštačke inteligencije, ali u meri u kojoj drugi faktori (algoritmi, procesi obuke) postanu nova uska grla, verovatno će postojati moćni podsticaji (i više decenija) za njihovo rešavanje.

Konačna prednost metode Bio Referenci je da možemo da nastavimo da posmatramo napredak VI tokom vremena i da uporedimo ono što vidimo sa okvir izvestaja. Na primer, možemo da posmatramo:

  • Da li postoje neki zadaci koji se jednostavno ne mogu naučiti, čak i uz mnogo pokušaja i grešaka – ili da li neki zadaci zahtevaju količinu obuke koja se veoma razlikuje od onoga što izveštaj procenjuje.

  • Kako se mogućnosti modela VI upoređuju sa sposobnostima životinja koje trenutno modelujemo kao „slične veličine“. Ako se modeli VI čine sposobnijim od takvih životinja, možda precenjujemo koliko bi veliki model trebalo da bude da bismo npr. automatizovali nauku. Ako izgledaju manje sposobni, možda to potcenjujemo.

  • Kako hardver i softver napreduju i da li modeli VI postaju sve veći brzinom koju izveštaj trenutno predviđa. 

Sledeći deo će rezimirati sve dosadašnje različite analize o vremenskim okvirima transformativne VI. Zatim će se raspravljati o preostaloj zadršci: da ne postoji čvrst konsenzus stručnjaka o ovoj temi.


1 Naravno, odgovor bi mogao da bude „za zilion godina“ ili „nikad“.
2 Transparentnosti radi, imajte u vidu da je ovo analiza Open Philanthropy, čiji sam sa-izvršni direktor.
3 Ja (kao i Bio Reference) generalno smatram da je broj sinapsi važniji od broja neurona, iz razloga koje neću objašnjavati ovde.
4 Vikipedija: „Puna verzija GPT-3 ima kapacitet od 175 milijardi parametara mašinskog učenja… Pre objavljivanja GPT-3, najveći jezički model je bio Microsoft-ov Turing NLG, predstavljen u februaru 2020, sa kapacitetom od 17 milijardi parametara. ” Vikipedija to ne navodi, ali ne verujem da postoje javno poznati modeli VI veći od ovih jezičkih modela (sa izuzetkom „modela mešavine stručnjaka“ za koje mislim da bi trebalo da zanemarimo u ove svrhe, iz razloga koje neću ulaziti ovde). Vikipedija procenjuje oko 1 trilion sinapsi za mozak kućnog miša; metodologija Bio Referenci za poređenja mozga (zasnovana na Brain Computation) u suštini izjednačava sinapse sa parametrima.
5 Bio Reference procenjuju oko 100 triliona parametara za ljudski mozak, na osnovu činjenice da ima oko 100 triliona sinapsi.
6 Kao što je gore navedeno, 10 puta treba da ostavi malo prostora za ideju da bi „digitalni mozgovi“ mogli biti manje efikasni od ljudskog mozga. Pogledajte ovaj odeljak izveštaja.
7 Na primer, jedan pristup pretpostavlja da bi se obuka mogla pojeftiniti „meta-učenjem“, o čemu je gore diskutovano; drugi pristup pretpostavlja da bi, da bi se proizvela transformativna veštačka inteligencija, trebalo da se uradi otprilike onoliko proračuna koliko sve životinje u istoriji zajedno, da bi se ponovo stvorio napredak koji je napravljen prirodnom selekcijom.
8 Na primer, pogledajte grafikone iz ranih delova Izveštaja o indeksu veštačke inteligencije za 2021.
9 Videti ovaj odeljak.
10 Za kolekciju linkova ka GPT-3 demo snimcima, videti ovu objavu.
11 U stvari, on procenjuje da se čini da sistemi veštačke inteligencije koriste oko 1000 puta manje računara, što bi odgovaralo gornjoj tački u smislu sugerisanja da bi sistemi veštačke inteligencije mogli biti efikasniji od životinjskog/ljudskog mozga i da bi procene Bio Referenci mogle biti previše konzervativne. Međutim, on se ne bavi činjenicom da pčele verovatno obavljaju raznovrsniji skup zadataka od sistema VI sa kojima se upoređuju.
12 Osim metode „slabo informisanih apriori pretpostavki“ o kojoj smo ranije govorili.
13 Naravno, ovo ne znači da su procene potpuno nezavisne od intuicije – intuicije će verovatno obojiti naše izbore procena za mnoge brojke koje je teško proceniti. Ali sposobnost da se svaka procena posebno razmatra i da se o svakoj posebno raspravlja ovde je od pomoći.