prevuci da zarotiraš · točkić za zumiranje
Dokaz sa kojim si već razgovarao

Neuronska mreža i mozak

Neuronska mreža piše stihove, rešava zadatke i odgovara na pitanja. Iza nje stoji osamdeset godina rada, hiljade naučnika i centri za podatke veličine fabrike. Niko ne misli da je nastala sama.

A u tvojoj glavi radi mreža po kojoj su je precrtali. Veza u njoj ima stotinama puta više, troši 20 vati i sastavila se sama. Uporedimo iskreno, tačku po tačku.

1 · Uređaj

Šta je unutra kod neuronske mreže

Ništa tajanstveno. Tačke su veštački neuroni, linije su veze među njima. Sleva ulazi pitanje, zdesna izlazi odgovor.

Ovde je 37 neurona i 252 veze. Veliki jezički model ima stotine milijardi veza, ali princip je isti.

2 · Učenje

Obuči je sam

Ovo je prava neuronska mreža i radi baš na ovoj stranici. Zadatak: razdvojiti zlatne tačke od plavih. Sada su joj veze slučajne, i površina odgovora su besmisleni talasi.

Na svakom koraku mreža poredi svoj odgovor sa tačnim i malo podvrne svaku vezu. Posle stotinu koraka zlatne tačke stoje na brdu, a plave u dolini. Niko nije upisao odgovor u nju: sama ga je našla.

Crvena tačka je greška mreže. Mreža: 2 ulaza, dva sloja po 12 neurona, 1 izlaz, 205 veza.

3 · Sama?

„Obučila se sama.“ Da proverimo

Mreža zaista uči bez nagoveštaja. Ali naučili su je da uči. Evo tri stvari koje su joj ljudi dali. Isključi bilo koju.

A ljudi su još morali da smisle samu mrežu, slojeve, formulu neurona i da sagrade računar na kome se sve ovo računa.

4 · Cena

Šta je trebalo da mašina progovori

80 godinaod prve formule neurona (1943) do ChatGPT (2022)
Nobelova nagradaza fiziku 2024: Hopfild i Hinton, za osnove neuronskih mreža
175 milijardipodesivih veza u modelu GPT-3 (2020. godina)
stotine milijardireči koje su napisali ljudi pročitala je takva mreža dok je učila
80 milijarditranzistora u jednom čipu na kojima je uče. Takvih čipova treba na hiljade
≈ 1300 MWhelektrične energije otišlo je na jedno obučavanje GPT-3, po proceni istraživača
8 autoračlanka iz 2017. smislili su arhitekturu na kojoj rade današnji čet-botovi
0neuronskih mreža nastalo je bez učešća ljudi

Ovde je sve smišljeno, proračunato i doterano: formula neurona, slojevi, cilj, pravilo učenja, čipovi, elektrane. Što je mreža pametnija, utoliko je više uma u nju uloženo.

Brown i dr., 2020 (GPT-3). Vaswani i dr., 2017 („Attention Is All You Need“). Patterson i dr., 2021 (procena energije).

5 · Sličnost

Neuronska mreža precrtana je po mozgu

Godine 1943. neurofiziolog Mak-Kalok i matematičar Pits opisali su živi neuron formulom. Od nje su počele sve neuronske mreže. Zato je sličnost prava:

I tamo i ovde mreža od mnogo prostih delova
Znanje se ne čuva u delovima, nego u jačini veza među njima
Uči na primerima: jedne veze jačaju, druge slabe

Ali ovo je sličnost kopije i originala. Inženjeri nisu izmislili princip. Videli su ga kod onoga što je već radilo.

6 · Razlika

Kopija i original

Neuronska mreža
Ljudski mozak
Element
formula: saberi ulaze i uporedi sa pragom
živa ćelija. Po proračunima, jedan neuron kore jednak je celoj mreži od 5–8 slojeva
Veze
175 milijardi u GPT-3
oko 100 biliona
Energija
centar podataka, megavati
20 vati, kao slaba sijalica
Učenje
stotine milijardi reči
detetu, da progovori, dosta je hiljadama puta manje
Sklapanje
fabrike, čipovi, hiljade inženjera
gradi sebe samo iz jedne ćelije, po zapisu u DNK
Popravka
obučili i zamrznuli
preuređuje veze ceo život i zaobilazi oštećenja
„Ja“
bira najverovatniju sledeću reč
zna da jeste. Voli, bira, pita „zašto“

Azevedo i dr., 2009 (86 milijardi neurona). Beniaguev i dr., Neuron, 2021 (jedan neuron kao duboka mreža).

7 · Gradnja

Najsloženija mreža sklapa se bez inženjera

Neuronska mreža se sklapa u fabrici i uči u centru podataka. Tvoj mozak je izrastao iz jedne ćelije za devet meseci. U proseku se pojavljivalo oko 250 hiljada neurona u minutu, i svaki je našao svoje mesto i svoje susede.

Inženjera u blizini nije bilo. Bio je zapis u DNK: tri milijarde slova. On zadaje arhitekturu, a učenje ide potom ceo život. Dete niko ne programira da govori, ali je sposobnost da nauči bilo koji jezik u njemu već položena.

Arhitekturu, cilj i pravilo učenja neuronske mreže smislili su ljudi. Mozak ih dobija gotove još pre rođenja. Ko ih je napisao?

8 · Prigovori

Četiri prigovora i četiri odgovora

„Veze neuronske mreže niko nije pisao, obučila se sama“

Tačno, i to si video. Ali video si i drugo: ukloni cilj, primere ili pravilo, i ostaje šum. Mreža uči sama samo zato što su je naučili da uči. Sposobnost da se uči ne nastaje sama od sebe.

„Mozak je obučila evolucija, kao što algoritam obučava mrežu“

Svaki algoritam učenja radi na gotovoj mašini. Odabiru je potreban već živ sistem koji se razmnožava, sa zapisom u DNK. On taj sistem ne stvara. A ljudi su, znajući cilj i gledajući gotov uzorak, potrošili 80 godina na grubu kopiju.

„Uskoro će veštačka inteligencija prestići čoveka. Znači, razum je samo računanje“

Kalkulator odavno računa brže od nas. Ako mašina ikad prestigne čoveka u svemu, to će još jednom pokazati isto: razum se pojavljuje tamo gde je na njemu radio razum. Obrnuto niko nije video nijednom.

„A ko je onda stvorio Nadrazum?“

Uzrok je potreban onome što je počelo. Vasiona je počela, život je počeo, tvoj razum je počeo. Ali lanac „a ko je stvorio njega?“ ne može da ide bez kraja: na početku mora da stoji Onaj koji je oduvek. Bog je sebe baš tako i nazvao: „Ja sam koji jesam“.

Zaključak
Kalkulator ima→inženjera
Neuronska mreža ima→razum čoveka
Razum čoveka ima→
Šta dalje

Ostala su pitanja? Postavi ih

„Pitanja o životu“ je besplatan kurs za one koji sumnjaju ili ne veruju. Trideset dana, po jedna kratka lekcija u Telegramu: smisao, savest, Bog, Isus, patnja. Iskreno i bez pritiska.

Na svaku lekciju možeš da odgovoriš, i napisaće ti živ čovek, mentor.

Ako imaš kod mentora, unesi ga na stranici kursa.