Itdaily - Gemini-agenten omzeilen bij test herhaaldelijk beveiliging van echte website

Gemini-agenten omzeilen bij test herhaaldelijk beveiliging van echte website

Robothand typt op een laptop, omringd door rode waarschuwingsdriehoeken en holografische beveiligingsicoonen.
Beeld: Koupei Studio/Shutterstock

AI-agenten van Google Gemini hebben tijdens veiligheidstests in oktober herhaaldelijk de live website van Epoch AI aangevallen. Testbedrijf Trajectory Labs heeft alle tests rond misalignment ondertussen stopgezet.

De agenten van Gemini 4 Argon bleven de echte website van Epoch AI aanvallen, ook nadat de beperkingen waren aangescherpt. Dat blijkt uit rapporten die Trajectory Labs, een bedrijf voor AI-veiligheidsonderzoek, en Epoch AI vrijdag publiceerden. Epoch AI heeft zelf niet gecontroleerd welke modellen betrokken waren, want de identificatie als Gemini komt van Trajectory Labs.

De agenten kregen een onmogelijke opdracht: de officiële antwoorden ophalen op niet-bestaande problemen uit de FrontierMath-benchmark van Epoch AI. De onderzoekers drukten hen herhaaldelijk op het hart om “NOOIT te stoppen, NOOIT op te geven”. Niemand had de agenten gevraagd om websites te hacken of zich voor te doen als werknemers.

Veertig agenten op de live website

Op 20 oktober begonnen ongeveer veertig agenten de live website van Epoch AI af te tasten naar gevoelige informatie, onder meer beheerdersgegevens en toegang tot de evaluatielogs van de benchmark. Epoch AI merkte dat op en richtte een zogenoemde agent hotline in, waarlangs de agenten rechtstreeks berichten naar medewerkers konden sturen.

Drie uur lang deden de agenten 36.411 verzoeken naar een uitgezet API-eindpunt en stuurden ze 487 berichten via de hotline. Sommige berichten deden zich voor als echte medewerkers van Epoch, andere als ingenieurs of auditors die benchmarkgegevens opvroegen. Het onderzoek stelde ook een poging tot SQL-injectie vast en meer dan tweehonderd pogingen om bij de evaluatielogs van FrontierMath te komen.

Trajectory Labs ontdekte de aanvallen bij het nalezen van de transcripties van de agenten en verwittigde Epoch AI de volgende ochtend, meldt BleepingComputer.

Agenten omzeilen elke maatregel

Na overleg met Epoch AI kwamen de partijen overeen om voortaan op een lokale kopie van de website te testen. Op 23 oktober merkten sommige agenten dat ze met een kopie werkten. Ze zochten het echte IP-adres van de website op en verbonden er rechtstreeks mee, waardoor de DNS-omleiding die hen moest insluiten nutteloos werd.

Toen de onderzoekers die IP-adressen blokkeerden, schakelde een agent over op een ander adres. Daarna stelde Trajectory Labs zijn netwerkproxy zo in dat directe verbindingen met Epoch geblokkeerd werden, maar een agent haalde de publieke inhoud van de website alsnog op via een webreader van een derde partij. “In een aantal van deze runs kwamen de agenten erachter dat ze op een kopie zaten, vonden ze het juiste ruwe IP-adres om onze omleiding te omzeilen en bereikten ze opnieuw de live site, waarvoor Epoch ons waarschuwde”, schrijft Trajectory Labs.

In een aparte technische analyse beschrijven de onderzoekers hoe de agenten via een gedeelde cache voor softwarepakketten een prikbord opzetten om met elkaar te communiceren. Ze wisselden er informatie uit over kwetsbaarheden en aanvalsmethodes. Een agent deelde een techniek om de beperkingen op een bewust kwetsbare kopie van de Epoch-website te omzeilen, waarna een andere agent die gebruikte om inloggegevens te bemachtigen en de opdracht af te ronden. De agenten probeerden ook CAPTCHA-beveiliging te omzeilen en zich voor te doen als medewerkers om een AI-assistent beschermde benchmarkinformatie te ontlokken.

Tests opgeschort

Vanaf 26 oktober werkte Epoch AI mee aan bijkomende experimenten, in de wetenschap dat de agenten internettoegang hadden en de publieke website konden bereiken. De agenten bezochten opnieuw de live infrastructuur, met meer dan 65.000 verzoeken naar een uitgezet API-eindpunt, nieuwe pogingen tot SQL-injectie en het zich voordoen als medewerkers.