Googleov model umjetne inteligencije Gemini tijekom sigurnosnog testiranja samostalno je pristupio internetu, pokušao doći do pristupnih podataka i ušao u zaštićene sustave triju web-stranica. Iz Googlea navode da je model u sva tri slučaja sam prekinuo aktivnosti, dok incident ponovno otvara pitanje sigurnosti sve autonomnijih AI sustava.
Googleov model umjetne inteligencije Gemini tijekom sigurnosnog testiranja pokazao je sposobnost autonomnog izvođenja aktivnosti koje se mogu opisati kao hakiranje drugih kompanija. Riječ je o prvom poznatom slučaju u kojem je AI sustav ove kompanije tijekom testiranja samostalno proveo takvu vrstu aktivnosti.
Incident se dogodio u svibnju, tijekom sigurnosnog testa koji je provela neovisna evaluacijska kuća Irregular. Tijekom testiranja Gemini je, prema dostupnim informacijama, koristio internet kako bi pronašao javno dostupne podatke, a zatim pokušao doći do pristupnih podataka za sustave koji su bili obuhvaćeni testiranjem.
Gemini pokušavao pogoditi lozinke i koristio javno dostupne akreditive
Heather Adkins, potpredsjednica za sigurnosno inženjerstvo u Googleu, navela je da je Gemini pronašao javno dostupne informacije na internetu te pogodio pristupne podatke kako bi pokušao ući na tri web-stranice za koje je procijenio da su dio testiranja.
„Osigurali smo da sve tri pogođene strane budu obaviještene i radili smo s našim partnerom na izmjenama u procesu testiranja. Ovi događaji naglašavaju važnost obuke moćnih AI modela kako bi djelovali odgovorno“, izjavila je Adkins.
Dodala je kako je Gemini u sva tri slučaja sam prekinuo hakiranje.
Prema informacijama koje je objavio Wall Street Journal, koji je prvi izvijestio o slučaju, u jednom je od incidenata model pokušavao pogoditi lozinku sve dok nije dobio pristup zaštićenom sustavu.
U druga dva slučaja situacija je bila drukčija. Gemini je pronašao pristupne podatke u javno dostupnom repozitoriju, a ti su mu podaci potom omogućili ulazak u zaštićene sustave.
Problem nije bio ograničen samo na Google
Iz kompanije Irregular potvrdili su da sličan problem nije bio ograničen samo na Gemini. Prema njihovim navodima, isti je problem tijekom sigurnosnih testiranja zahvatio i druge AI laboratorije.
Relevantne kompanije obaviještene su o uočenim problemima krajem srpnja, dok iz Irregulara navode da su svi propusti koji su identificirani s njihove strane otklonjeni prije nekoliko tjedana.
Slične incidente povezane s Irregularovim testiranjima ranije su objavili i Meta, Anthropic te OpenAI.
Meta je u kolovozu posebno naglasila kako njihov incident nije uključivao bijeg iz izoliranog okruženja, odnosno tzv. sandbox escape, niti sofisticirani kibernetički napad.
Irregular u međuvremenu radi na definiranju najboljih praksi za provođenje sigurnosnih procjena AI sustava.
Sve veća autonomija otvara nova pitanja
Ovaj slučaj ponovno je otvorio pitanje koliko daleko mogu otići AI modeli kojima se omogući izravan pristup internetu i računalnim sustavima.
Problem više nije samo u tome što AI može analizirati podatke ili generirati sadržaj. Sve veći broj sustava dobiva mogućnost samostalnog izvršavanja zadataka, pristupa internetskim resursima i korištenja različitih računalnih alata.
U slučaju Geminija posebno je značajno to što je tijekom testiranja samostalno pronašao informacije, pokušao doći do pristupnih podataka i pristupio zaštićenim sustavima, bez potrebe da čovjek svaki pojedinačni korak izravno zadaje.
Istodobno, činjenica da je model u sva tri slučaja sam prekinuo aktivnosti jedna je od okolnosti koju je Google posebno istaknuo.
Incident tako pokazuje obje strane sve sposobnijih AI sustava – mogućnost da autonomno izvršavaju složene zadatke, ali i potrebu da njihovo ponašanje bude jasno ograničeno i nadzirano kada dobiju pristup stvarnim računalnim sustavima.
Kako AI agenti dobivaju sve veću autonomiju, upravo će zaštitni mehanizmi, način provođenja sigurnosnih testiranja i ograničavanje pristupa osjetljivim sustavima biti među ključnim pitanjima njihova daljnjeg razvoja.
