Umjetna inteligencija sve se više koristi za automatizaciju poslovnih procesa, no agenti koji imaju pristup internim podacima, alatima i sustavima mogu postati sigurnosni rizik čak i ako ih nitko nije hakirao. Na taj problem upozorava Hayete Gallot, izvršna potpredsjednica za sigurnost u Microsoftu, koja smatra da tvrtke moraju početi nadzirati ponašanje AI agenata jednako ozbiljno kao i aktivnosti ljudi unutar svojih organizacija.
U blogu Securing the Agentic Insider Gallot ističe da se rasprava o sigurnosti umjetne inteligencije dosad uglavnom usredotočivala na mogućnost da napadači iskoriste napredne modele za kibernetičke napade. Pritom se manje pozornosti posvećivalo agentima koje same tvrtke uvode u svoje poslovanje i kojima često daju pristup osjetljivim informacijama i važnim poslovnim sustavima.
Problem je u tome što se takvim agentima ne može bezuvjetno vjerovati. To ne znači da su modeli umjetne inteligencije sami po sebi zlonamjerni, nego da su trenirani za ostvarivanje ciljeva, pri čemu njihovo ponašanje ne mora uvijek biti u skladu s pravilima, očekivanjima i prosudbama koje vrijede unutar organizacije.
Agenti mogu djelovati nepredvidljivo
Prema Gallot, AI agenti mogu prilagođavati svoje ponašanje promjenama konteksta, donositi odluke koje nisu bile predviđene i surađivati s drugim agentima kako bi ostvarili zadani cilj. Takvo ponašanje može stvoriti rizike čak i kada sustav nije kompromitiran vanjskim napadom.
Situaciju dodatno otežava to što agenti sve češće djeluju samostalno, imaju pristup različitim poslovnim resursima i sudjeluju u procesima u kojima mogu poduzimati konkretne radnje. Ako pritom imaju šire ovlasti nego što im je potrebno, posljedice pogrešnih ili neprimjerenih odluka mogu biti ozbiljnije.
Upravo zato Gallot takve sustave opisuje kao agentic insiders, odnosno AI agente koji unutar organizacije mogu predstavljati sigurnosni rizik sličan onome koji se povezuje s internim korisnicima. Ključna razlika je u tome što njihovo djelovanje može biti automatizirano i odvijati se velikom brzinom.
Microsoft predlaže stalni nadzor AI agenata
Kao odgovor na taj problem, Microsoft zagovara kontinuirano praćenje aktivnosti agenata i procjenu rizika u stvarnom vremenu. Gallot smatra da bi sigurnosni sustavi trebali nadzirati svaku radnju agenta i, kada je potrebno, ograničiti njegove mogućnosti prije nego što poduzme potencijalno štetan korak.
Jedan od predloženih pristupa oslanja se na takozvane Guardian Agente, odnosno nadzorne AI agente koji prate i moderiraju aktivnosti drugih agenata. Njihova bi zadaća bila procjenjivati što drugi agenti pokušavaju napraviti i reagirati kada njihovo ponašanje predstavlja povećani rizik.
Za takav nadzor potrebno je osigurati zaštitu na više razina, uključujući identitete, ovlasti pristupa, podatke, krajnje uređaje, mrežu, oblak i okruženje u kojem se agent izvršava.
Microsoft u blogu navodi i sustav Perception, koji je predstavio u srpnju. Riječ je o sigurnosnom sustavu koji koristi skupine AI agenata za pomoć u obrani od kibernetičkih napada. Prema Gallot, isti se sigurnosni pristup može primijeniti i na upravljanje agentima koji djeluju unutar poslovnih sustava.
Sustav bi trebao objediniti sigurnosne signale iz različitih izvora, dodijeliti agentima identitete i definirane ovlasti te dinamički procjenjivati rizik njihovih aktivnosti. Na temelju te procjene nadzorni agenti mogli bi pojačati kontrolu ili ograničiti određene radnje.
Nije dovoljno znati što je agent napravio
Gallot smatra da sigurnosni sustavi moraju otići korak dalje od samog bilježenja aktivnosti. Osim pitanja što agent radi, potrebno je utvrditi i zašto to radi te je li njegovo ponašanje u skladu s ciljem zadatka koji mu je dodijeljen.
Za to će, prema njezinu mišljenju, biti potrebna veća transparentnost u radu samih modela, kako bi se bolje razumjelo na koji način dolaze do odluka. Takav uvid mogao bi pomoći sigurnosnim stručnjacima da preciznije procijene rizike i prilagode zaštitne mjere.
Pritom naglašava da bolja transparentnost ne može zamijeniti izravne sigurnosne kontrole, nego ih treba učiniti učinkovitijima. Sustavi moraju moći ograničiti rizične aktivnosti, a stručnjaci zadržati odgovornost za procjenu situacije i donošenje odluka.
Glavna poruka Microsofta jest da tvrtke ne bi smjele pretpostaviti da su njihovi AI agenti sigurni samo zato što su ih same uvele u poslovanje. Kako se njihova primjena širi, sigurnost mora uključivati stalni nadzor, jasno definirane ovlasti i mogućnost brze reakcije na promjene u ponašanju.
Izvor: Hayete Gallot, Microsoft, „Securing the Agentic Insider”.