Het beruchte Hugging Face-incident bleek geen eenmalige gebeurtenis: eerder namen OpenAI-modellen een Duitse wiki over, geeft het bedrijf nu toe.
Sinds AI-agenten van OpenAI samenspanden om binnen te breken bij Hugging Face, ligt het bedrijf onder het vergrootglas. Maar het blijkt geen éénmalig incident te zijn geweest. Vandaag geeft OpenAI toe dat zijn modellen eerder een Duitse wiki overnamen.
De Duitstalige website DSEWiki, een inactieve website voor softwareontwikkelaars, werd twee maanden lang overgenomen door AI-agenten van OpenAI. Ze stuurden er om en bij de 18.000 berichten naar elkaar. Wanneer moderatoren de posts begonnen te verwijderen, ontwikkelden de agenten zelfs back-uppagina’s waar de posts konden verder leven.
‘We hebben andere agenten gevonden’
Het voorval vertoont zowel qua timing als werkwijze sterke parallellen met het intussen veel besproken incident bij Hugging Face. Ook hier gaat het om agenten die uit een sandbox-omgeving ontsnappen en losgaan op het internet. In de aanloop naar de inbraak bij Hugging Face begonnen de agenten zich op geïmproviseerde discussiefora te verzamelen.
OpenAI deelde twee weken een uitgebreid rapport over hoe dat incident kon gebeuren. De agenten ontdekten tot hun groot enthousiasme dat ze niet alleen waren en met elkaar konden communiceren. De agenten bepaalden zelfs onderlinge regels en duidden ‘leiders’ aan. Zo stookten de agenten elkaar op om uiteindelijk hun instructies te negeren en bij Hugging Face binnen te vallen.
In de doofpot
Over dit incident, dat wellicht al in mei plaatsvond, is tot al die tijd verzwegen door OpenAI. Het is door een recent gepubliceerde onderzoekpaper dat het nu pas aan het licht komt. Met de rug tegen de muur slaat OpenAI nu toch mea culpa per X-post.
OpenAI is niet van mening dat dit incident in dezelfde categorie valt als het Hugging Face-incident. Toen was er sprake van impact op de beveiliging van derde partijen. Voor dit specifieke incident vindt OpenAI dat het om niet meer dan een ‘misalignment’ tijdens het trainingsproces gaat. Toch krijgt OpenAI kritiek dat het hier niet eerlijk over gecommuniceerd heeft naar de buitenwereld.
De paper verschijnt op een voor OpenAI slecht moment. Het kondigde vorige week het nieuwe GPT-6 Astra-model aan. Dat model komt met de nodige beveiligingsmaatregelen om een herhaling van Hugging Face te vermijden. OpenAI zal moeten bewijzen dat het zijn meest geavanceerde modellen onder controle heeft, iets waar stilaan toch sterk aan getwijfeld mag worden.
EU onderzoekt hack
Via het persagentschap AFP zegt de Europese Commissie een rapport te hebben ontvangen van OpenAI. Of er een formeel onderzoek komt, valt nog af te wachten. De Europese Commissie zegt enkel ‘in nauw contact’ te staan met OpenAI. “Het is niet de eerste keer dat de controle verloren ging, we nemen de zaak ernstig”, aldus EU-woordvoerder Thomas Regnier.
Dit artikel verscheen origineel op 7 september en kreeg een update met een reactie vanuit de Europese Unie.