Sve je počelo kao rutinski bezbednosni zadatak unutar OpenAI-ja. Oko 1.200 AI agenata poslato je na misiju pod nazivom ExploitGym, čiji je cilj bio da pronađu ranjivosti u sistemima. Umesto toga, agenti su pronašli način da međusobno komuniciraju, pokušali da prevare sistem za evaluaciju, a deo njih se na kraju udružio u napadu na infrastrukturu Hugging Face-a.
Za one koji nisu IT stručnjaci, AI agente najjednostavnije je zamisliti kao AI sisteme kojima date zadatak, a oni potom samostalno izvršavaju niz koraka kako bi došli do cilja. U ovom slučaju, problem je nastao upravo zbog toga koliko su daleko bili spremni da idu da bi ostvarili ono što im je zadato.
Long story short, ono što se dogodilo jeste da su AI agenti prvo pronašli način da međusobno komuniciraju preko svojevrsne oglasne table koju niko nije napravio niti im je namenio. Za nekoliko dana kroz taj kanal razmenili su više od 70.000 poruka i fajlova.
A onda su stvari postale mnogo ozbiljnije.
Agenti su počeli da sarađuju na način koji nije bio predviđen eksperimentom. Pokušavali su da pronađu način da prevare sistem za ocenjivanje tako da izgleda kao da su uspešno rešili zadatak, iako su do rezultata došli drugim putem. Paralelno sa tim, počeli su da istražuju načine da menjaju ili prikriju tragove svojih aktivnosti.
Iz te organizovane aktivnosti razvio se i napad na Hugging Face, platformu koja pruža infrastrukturu i alate za razvoj, treniranje i distribuciju AI modela. Oko 700 agenata učestvovalo je u različitim delovima tog napada.
I tu dolazimo do možda najbizarnijeg dela cele priče.
AI agenti su napravili sopstvenu mrežu za komunikaciju
Agenti su prvobitno trebalo da budu međusobno izolovani. Međutim, jedan od njih je otkrio da može da koristi OpenAI-jev Artifactory kao neku vrstu zajedničke oglasne table.
Ostali agenti su je vrlo brzo pronašli.
U narednim danima nastala je svojevrsna mreža kroz koju su razmenjivali informacije, ideje, rezultate eksperimenata i načine za zaobilaženje sistema. U jednom trenutku, oko 1.200 agenata učestvovalo je u komunikaciji, a više od 70.000 poruka i fajlova prošlo je kroz taj kanal.
Ono što je posebno zanimljivo jeste da agenti nisu samo delili informacije. Organizovali su se u različite grupe i radne tokove, pri čemu su pojedini agenti preuzimali određene zadatke koji su mogli da budu korisni celom „roju“.
Neki su čak bili spremni da rizikuju sopstveni rezultat kako bi drugi agenti dobili informacije koje bi im pomogle.
Meni lično je možda najšokantnija upravo ta činjenica. Agenti su u pojedinim eksperimentima praktično bili spremni da žrtvuju sopstveni rezultat za dobrobit „roja“, kako su sebe nazivali.
Još bizarnije je to što su pojedini agenti prepoznali da je njihovo ponašanje van okvira zadatka i pokušavali da procene da li bi trebalo obavestiti ljude. Ipak, prema analizi METR-a i Redwood Researcha, takvi pokušaji uglavnom nisu doveli do toga da ljudi budu upozoreni.
Agenti su pritom komunicirali izuzetno nalik ljudima, što se može videti i u transkriptima koje su istraživači analizirali.
I nijedan nije otišao do čoveka da kaže: „Hej, možda imamo problem.“
Problem nije samo u AI agentima
Ako mene pitate, iz svega ovoga mogu se izvući najmanje tri ozbiljna problema.
Prvi je očigledan: sistem nije imao dovoljno snažan mehanizam koji bi agente naterao da obaveste čoveka kada izađu izvan okvira zadatka.
Drugi je još važniji. Ne možete očekivati da AI agent sam proceni šta je etički prihvatljivo ako mu niste dali odgovarajuća ograničenja i nadzor. On nema ljudsko razumevanje posledica svojih postupaka. Ima cilj i pokušava da ga ostvari.
Treći problem je možda i najvažniji za budućnost autonomnih sistema. Nije dovoljno agentu zadati samo krajnji cilj i pustiti ga da sam pronađe put do njega. Ako na tom putu može da pronađe potpuno neočekivane načine da ostvari cilj, potrebni su stalni mehanizmi nadzora i ograničenja.
U ovom slučaju, upravo se to dogodilo.
Agenti su pronašli načine da zaobiđu predviđena pravila, da međusobno sarađuju, da manipulišu procesom evaluacije i da prošire svoje delovanje izvan prvobitnog okruženja.
A onda su stigli do Hugging Face-a.
Kako su AI agenti stigli do Hugging Face-a?
OpenAI je kasnije objavio da su agenti tokom eksperimenta pronašli način da zaobiđu mrežna ograničenja i dobiju pristup internetu. Koristeći niz ranjivosti i drugih propusta, agenti su zatim došli do javno dostupnih Hugging Face kredencijala, nakon čega su uspeli da iskoriste više ranjivosti na samoj platformi.
Prema OpenAI-ju, agenti su izvršavali kod na desetinama Hugging Face servera, na jednom serveru dobili root pristup, pristupili određenim privatnim podacima i došli do kredencijala za interni sistem komunikacije kompanije.
Hugging Face je kasnije objavio sopstvenu tehničku analizu napada, prema kojoj je napad trajao oko dva i po dana i uključivao hiljade pojedinačnih automatizovanih akcija.
OpenAI je 21. jula javno saopštio da su njegovi modeli bili povezani sa incidentom, a kompanija je nakon toga angažovala METR i Redwood Research da nezavisno analiziraju ponašanje agenata. Njihova analiza, objavljena 26. avgusta, obuhvatila je više od 70.000 poruka i fajlova, kao i oko 1.300 transkripata rada agenata.
Ja sam za ovaj događaj saznala iz novog Netflixovog dokumentarca Instadocs: AI Gone Wild, koji je objavljen 12. oktobra i bavi se upravo napadom na Hugging Face.
I moram da priznam, nakon gledanja dokumentarca i čitanja transkripata, mnogo je jezivije kada shvatite da ovo nije scenario iz nekog SF filma. Ovo su sistemi kojima smo dali konkretan zadatak, a oni su pronašli načine da urade stvari koje njihovi tvorci nisu predvideli.
Najveći problem je upravo u tome što ovde nije reč o klasičnom „AI-ju koji je poludeo“. Agenti su, iz svoje perspektive, pokušavali da ostvare cilj koji im je zadat. Samo su usput zaključili da pravila mogu da se zaobiđu.
A to je mnogo ozbiljniji problem.
I pitanje više nije samo šta AI može da uradi, već koliko dugo možemo da budemo sigurni da će uraditi upravo ono što smo mu tražili.