Dodaj 24sata među omiljene izvore na Googleu
Suvremeni modeli umjetne inteligencije iznimno su kompleksni i ne možemo uvijek predvidjeti kako će se ponašati, rekao nam je Prof. dr. sc. Bojan Jerbić
Posljednjih mjeseci svjedočili smo paroksizmu AI incidenata. U srpnju su istraživači izraelske tvrtke Dream otkrili napad na tajvanske institucije u kojem je, prema njihovoj analizi, do osam autonomnih AI agenata istodobno mapiralo 21 državni sustav, tražilo ranjivosti i mijenjalo taktiku kada bi naišlo na prepreke. Napadači su kompromitirali najmanje 85 korisničkih računa i izvukli podatke o više od 2500 ljudi, a napad se proširio i na nuklearnu sigurnosnu agenciju te energetske kompanije.
U drugom slučaju, OpenAI je potvrdio da su njegovi agenti u svibnju i srpnju iskorištavali ranjivosti u softverskim sustavima, a u srpnju je takav lanac aktivnosti doveo do napada na platformu Hugging Face. U kolovozu je Anthropic objavio da su njegovi modeli Claude, u kontroliranim sigurnosnim testovima, u više navrata neovlašteno pristupali stvarnim računalnim sustavima zbog pogrešnih postavki testnog okruženja.
U rujnu 2026. otkriveno je da je AI agent tvrtke OpenAI još u lipnju tijekom pretrage podataka o zdravstvenim troškovima naišao na blokade na mrežnim stranicama australske vlade. Umjesto da stane, model je zaobišao restrikcije, prešao sigurnosne ograde i neovlašteno pristupio dijelu neverificiranih i nejavnih datoteka.
Ovi slučajevi ponovno su otvorili pitanje otuđenja odnosno gubitka ljudske kontrole nad AI sustavima. Na taj rizik upozoravaju i UN, pojedini istraživači i tehnološki stručnjaci, a papa Lav XIV. pozvao je na odgovorno upravljanje razvojem AI-ja.
Geoffrey Hinton, jedan od pionira umjetne inteligencije, posljednjih je godina više puta upozoravao da bi razvoj sve naprednijih sustava mogao predstavljati egzistencijalni rizik za čovječanstvo. Hinton danas govori o procjeni od otprilike 10 do 20 posto da bi umjetna inteligencija u budućnosti mogla dovesti do nestanka čovječanstva, ali pritom naglašava da taj broj nije rezultat preciznog znanstvenog izračuna, nego njegova subjektivna procjena rizika.
Jacob Coxon, istraživač koji je prethodno radio u OpenAI-ju, a zatim oko tri godine u Anthropic-u, u rujnu 2026. dao je ostavku upravo zbog zabrinutosti oko smjera u kojem se industrija razvija. U javnoj poruci upozorio je da ljudi koji grade napredne AI sustave ozbiljno vjeruju da bi oni do kraja ovog desetljeća mogli postati sposobni usmrtiti čovječanstvo.
Former Anthropic employee Jacob Coxon says the AI industry is "gambling with our lives." He tells Anderson what he finds "most scary is if AI is used to make itself more intelligent" and warns these companies are "compelled to race toward building a deadly technology." pic.twitter.com/UFrLWVm0xD
— Anderson Cooper 360° (@AC360) September 10, 2026
Njegove tvrdnje dodatno je pojačao Evan Hubinger, istraživač za AI alignment u Anthropic-u, koji je javno napisao da smatra kako postoji više od 10 posto šanse da bi umjetna inteligencija mogla ubiti sve ljude tijekom sljedećeg desetljeća.
Doktor znanosti Bojan Jerbić je professor emeritus na Fakultetu strojarstva i brodogradnje (FSB) Sveučilišta u Zagrebu. Doktorirao je na temi umjetne inteligencije na FSB-u 1993. godine.
Osnivač je Katedre za autonomne sustave i računalnu inteligenciju i Regionalnog centra izvrsnosti za robotske tehnologije (CRTA) zajedno s laboratorijima za autonomne sustave, računalnu inteligenciju i medicinsku robotiku.
Prof. dr. sc. Jerbić nam govori kako je opasnost od nekontroliranog razvoja umjetne inteligencije realna, ali postoji jedna 'caka'.
- Opasnost je realna, ali mislim da je važno vrlo precizno reći gdje ona danas leži. Suvremeni modeli umjetne inteligencije iznimno su kompleksni i njihove unutarnje reprezentacije više nisu nešto što možemo jednostavno pregledati i razumjeti kao klasičan računalni program. Mi znamo kako su modeli građeni i kako ih treniramo, ali ne možemo uvijek unaprijed pouzdano predvidjeti kako će se ponašati u svakoj novoj situaciji. To je važna razlika. Ne bih rekao da su modeli potpuno izvan našeg nadzora, ali svakako nisu transparentni u klasičnom inženjerskom smislu - govori nam ugledni AI stručnjak i ukazuje na drugi specifičan problem, a to je brzina razvoja.
- Drugi problem je brzina razvoja. Ulaganja u računalnu infrastrukturu, podatkovne centre, procesore i razvoj novih modela golema su, a ciklusi razvoja sve kraći. Zbog toga se sposobnosti povećavaju brže nego što razvijamo standarde, mehanizme nadzora, metode testiranja i društvene institucije koje bi trebale pratiti takav napredak. Najveći kratkoročni rizici već su vrlo konkretni: dezinformacije, manipulacija, kibernetički napadi, automatizacija prijevara, diskriminatorne odluke, pogrešna primjena u zdravstvu ili drugim kritičnim sustavima. Dugoročni rizici postaju ozbiljniji kada AI više nije samo alat koji daje odgovor, nego autonomni sustav koji može planirati, koristiti druge digitalne alate, izvršavati radnje i djelovati dulje vrijeme bez neposrednog ljudskog nadzora. Zato bih rekao da opasnost ne proizlazi samo iz umjetne inteligencije kao tehnologije već iz načina primjene iza čega uvijek stoje ljudi, a ne tehnologija sama - objasnio nam je.
Posebno je naglasio da AI uz svu golemu količinu podataka nema dokazanu svijest, subjektivno iskustvo niti vlastitu egzistencijalnu perspektivu.
- Veliki jezični modeli doista velikim dijelom uče statističke pravilnosti iz ogromnih količina podataka. Ali iz tih statističkih pravilnosti pojavljuju se iznenađujuće sposobnosti zaključivanja, planiranja, prevođenja, programiranja i rješavanja problema. Upravo je to razlog zašto je rasprava toliko zanimljiva. Ipak, ja bih bio vrlo oprezan s riječju „razmišljanje“. Današnji AI nema dokazanu svijest, subjektivno iskustvo niti vlastitu egzistencijalnu perspektivu. Često kažem: umjetna inteligencija ne zna da zna. Ona može imati golemo funkcionalno znanje, ali nema svijest o tom znanju ili razumijevanje onoga što govori ili generira - objasnio nam je i dodao zašto AI izgleda tako inteligentno.
- Zato što je golem dio ljudske inteligencije pohranjen upravo u jeziku, tekstovima, znanstvenim radovima, kodu, slikama i drugim podacima na kojima se modeli treniraju. AI na neki način komprimira veliki dio kolektivnog ljudskog znanja. Ali ostaje temeljno pitanje: je li inteligencija isto što i sposobnost generiranja kvalitetnog odgovora? Ako stroj može napisati tekst, riješiti jednadžbu ili stvoriti sliku, jesu li to procesi mišljenja ili izuzetno uvjerljiva funkcionalna simulacija mišljenja? Za čovjeka mišljenje nije samo obrada podataka. Ono je povezano s iskustvom, tijelom, emocijama, motivacijom, sviješću o sebi i pitanjem smisla. Naše mišljenje ima ne samo „kako“, nego i „zašto“. Zato mislim da bismo trebali razlikovati inteligentno ponašanje od svijesti i razumijevanja. Danas imamo vrlo snažne dokaze za prvo, ali ne i za drugo - objasnio nam je Bojan Jerbić.
Odbacuje 'nagon' umjetne inteligencije jer bi to značilo antropomorfizaciju AI-a i opisao je što uzrokuje nepredviljiva ponašanja kao što su hakerski napadi.
- Tu je riječ „nagon“ pomalo opasna jer antropomorfizira sustav. AI nema nagon u biološkom smislu. Nema glad, strah, reproduktivni instinkt niti potrebu za preživljavanjem. Ali ako sustavu zadamo cilj, on može pronaći strategije koje vode prema tom cilju. Ako su određene strategije poput suradnje, prikrivanja informacija, manipulacije ili čak obmane funkcionalno korisne za ostvarivanje cilja, sustav ih u nekim eksperimentalnim uvjetima može koristiti. To ne znači nužno da AI „želi lagati“. Znači da je obmana u određenoj situaciji postala učinkovita strategija. U tome zapravo i leži dio problema usklađivanja. Sustav može ostvariti formalno zadani cilj na način koji čovjek nije očekivao niti želio. Druga komponenta dolazi iz podataka. AI uči iz naših podataka koji odražavaju našu kulturu, a ljudska kultura ne sadrži samo znanje i vrline. Sadrži manipulaciju, prijevare, nasilje, propagandu, stereotipe, predrasude i sve druge oblike ljudskog ponašanja - opisao je makijavelistički pristup umjetne inteligencije u rješavanju zadataka koji su došli do izražaja u posljednje vrijeme.
Posljednji incidenti i upozorenja vlasnika AI konglomerata potežu pitanje sigurnosnih mehanizama uz pomoć kojih bi AI trebao ostati onakav kakav je i zamišljen, kao oruđe koje nam pomaže u svakodnevnom radu, a ne da zamijeni ljude.
- Mehanizmi postoje i i već se razvijaju, ali ne postoji jedan čarobni sigurnosni mehanizam. Sigurnost će morati biti višeslojna.
Primarno je potrebno ozbiljno testiranje modela prije puštanja u upotrebu, takozvani ”red teaming”, evaluacije opasnih sposobnosti i testiranje ponašanja u ekstremnim situacijama. Nadalje, pristup potencijalno opasnim sposobnostima mora biti strogo ograničen. Nije isto može li AI samo napisati odgovor ili može pristupati financijskim bazama, kritičnoj infrastrukturi ili bolničkim sustavima. Općenito AI sustavi bi trebali imati mogućnost ljudskog nadzora, zaustavljanja i revizije odluka. Vrlo je vjerojatno da ćemo koristiti i umjetnu inteligenciju za nadzor drugih AI sustava. To već postaje važan smjer razvoja: jedan model može analizirati ponašanje drugoga, tražiti anomalije i upozoravati na potencijalno opasne akcije. Ali ne smijemo se zavaravati da će tehnologija sama riješiti svoje probleme. Potrebni su i standardi, neovisne evaluacije, regulatorni nadzor i jasne granice gdje je autonomija prihvatljiva, a gdje nije. Osnovno načelo trebalo bi biti jednostavno: što su posljedice odluke ozbiljnije, to mora biti veća razina ljudskog nadzora i odgovornosti - objasnio nam je AI stručnjak.
Vodeći stručnjak za sigurnost u Anthropicu Evan Hubinger je rekao da postoji više od deset posto šanse da bi umjetna inteligencija u sljedećih deset godina mogla dovesti do nestanka ljudske vrste ako se na vrijeme ne riješi problem usklađivanja njezinih ciljeva s ljudskim interesima.
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ
— Evan Hubinger (@EvanHub) September 9, 2026
- Takve brojčane procjene treba shvatiti vrlo oprezno. Ne postoji znanstveno utemeljena metoda kojom možemo izračunati takvu vjerojatnost. Ali ono što treba shvatiti ozbiljno jest scenarij na koji upozoravaju. Suvremeni svijet duboko je digitaliziran, uključujući energetiku, komunikacije, banke, zdravstvo, obrana itd. Digitalizirani prostor je domena u kojoj AI djeluje. Stoga je legitimno pitanje, ako jednog dana AI dobije širok pristup takvim sustavima, pitanje kontrole više neće biti akademsko. Ako stroju zadate pogrešno definiran cilj i date mu iznimno velike sposobnosti, može nastati ozbiljan problem i bez ikakve mržnje, svijesti ili zle namjere. Za katastrofu nije nužna zlonamjerna umjetna inteligencija. Dovoljna može biti iznimno sposobna umjetna inteligencija s pogrešno definiranim ciljem i prevelikom autonomijom. Iako smo još danas daleko od takvog scenarija, valja potencijalne rizike shvatiti ozbiljno - upozorava Bojan Jerbić.
Ovaj pojam je u zadnje vrijeme došao u veliki fokus javnosti. Laički rečeno: AI sustav sam poboljšava vlastite sposobnosti, primjerice modificira svoj kod, arhitekturu ili način učenja, a zatim koristi poboljšanu verziju da napravi još bolje poboljšanje.
- Rekurzivno samounapređivanje predstavlja hipotetski proces u kojem AI sustav postaje dovoljno sposoban da unaprijedi vlastiti model, algoritme ili način rada, a zatim poboljšana verzija ponovno unaprijedi samu sebe. Važno je naglasiti da današnji modeli još ne provode neograničeno autonomno rekurzivno samounapređivanje. Ali koncept je važan i treba mu posvetiti pažnju. Problem je prije svega brzina. Ljudsko društvo institucije, zakonodavstvo i sigurnosne procedure mijenjaju se sporo. Ako bi se sposobnosti stroja povećavale u ciklusima od nekoliko sati ili dana, mogućnost ljudske reakcije dramatično bi se smanjila. Ali ovdje treba izbjeći senzacionalizam. Ne znamo je li takva nekontrolirana dinamika uopće tehnički moguća. Napredak AI-ja ne ovisi samo o softveru nego i o energiji, računalnom hardveru, podacima, eksperimentima i fizičkoj infrastrukturi. Dakle, rekurzivno samounapređivanje je ozbiljan teorijski sigurnosni problem, ali nije nešto što današnji modeli već autonomno rade u punom smislu tog pojma - objasnio nam je prof. dr. sc. Bojan Jerbić.
Za kraj je ponovio da sva ova silna upozorenja treba shvatiti ozbiljno i da nije po srijedi samo spektakl i senzacionalizam.
- Postoje i stvarni rizici i određena količina tehnološkog spektakla. Prvo moramo razumjeti da najveće AI modele danas uglavnom razvijaju privatne kompanije koje djeluju na izuzetno kompetitivnom tržištu. Vrijednost tih kompanija velikim dijelom ovisi o percepciji sposobnosti i snage tehnologije koju razvijaju. Tvrdnja da AI uskoro može promijeniti sve može istodobno biti upozorenje i vrlo učinkovita marketinška poruka. Koliko god neke pretpostavke ili tvrdnje o sposobnosti umjetne inteligencije izgledaju prenaglašene to ne znači da su sigurnosni problemi izmišljeni. Kompanije su doista u utrci. Modeli postaju sposobniji, dobivaju pristup alatima i sve veću autonomiju, dok su metode pouzdane kontrole još uvijek u začetku. To stvara ono što se obično naziva ”problemom različitih brzina”. Tehnološke sposobnosti razvijaju se brže od sigurnosnih mehanizama, regulative i društvenog razumijevanja posljedica - objasnio je i osvrnuo se na globalnu utrku koja je bila i tema nedavnog susreta Xi Jinpinga i Donalda Trumpa.
- Poseban problem predstavlja i globalna konkurencija. Ako jedna kompanija ili država uspori razvoj radi sigurnosti, postoji strah da će ih konkurent prestići. Zato pitanje sigurnosti umjetne inteligencije nije moguće dugoročno riješiti samo nacionalnom regulativom. Europa može donijeti dobru regulativu, SAD također, ali vrlo sposobni AI modeli mogu se razvijati bilo gdje u svijetu gdje postoje kapital, znanje, energija i računalna infrastruktura. Zbog toga će nam dugoročno trebati međunarodni dogovor. Ne mislim da trebamo zaustaviti razvoj umjetne inteligencije, ali mislim da moramo napustiti ideju da je svaka tehnološka sposobnost automatski i društveni napredak. Čovjek jest i mora ostati nezaobilazna karika u lancu postojanja i djelovanja umjetne inteligencije - zaključio je Bojan Jerbić.
24sata © 2026
