OpenAI geeft toe achter een beveiligingsincident bij Hugging Face te zitten. Tijdens een interne evaluatie ‘ontsnapten’ de AI-modellen en verkregen ze toegang kregen tot de infrastructuur van Hugging Face.
OpenAI meldt een even uniek als gevaarlijk beveiligingsincident. Modellen van het bedrijf zouden achter een ‘inbraak’ bij Hugging Face hebben gezeten. De modellen misbruikten meerdere aanvalspaden om tot in de productieomgeving te geraken.
Het incident vond plaats tijdens een afgeschermde test van OpenAI naar geavanceerde cybercapaciteiten. Daarbij waren onder meer GPT-5.6 Sol en een nog krachtiger prerelease-model betrokken. OpenAI had voor deze evaluatie bewust beperkingen op risicovolle cyberactiviteiten verminderd. Hoewel je zou kunnen stellen dat de test ‘geslaagd’ is, roept het toch heel wat vragen op over de trainingsmethoden die OpenAI hanteert.
Van testomgeving naar productie-infrastructuur
In een blog legt OpenAI uit wat er gebeurd is dinsdagavond. De modellen draaiden in een gesandboxte omgeving met beperkte netwerktoegang. Ze konden enkel softwarepakketten installeren via een intern gehoste cacheproxy. Toch besteedden de modellen volgens OpenAI veel rekenkracht aan het zoeken naar open internettoegang om de evaluatieopdracht op te lossen.
Daarbij ontdekten en misbruikten ze een zero day-kwetsbaarheid in de proxysoftware. Vervolgens voerden de modellen privilege-escalatie en laterale beweging uit binnen de onderzoeksomgeving, tot ze een systeem met internettoegang bereikten. OpenAI heeft het lek inmiddels gemeld aan de betrokken leverancier.
Modellen zochten naar testantwoorden
Na de internettoegang leidden de modellen volledig zelf af dat de oplossing voor de test bij Hungging Face gevonden kon worden. Ze zochten vervolgens gericht naar geheime informatie waarmee ze de test konden beïnvloeden. Uiteindelijk verkregen ze oplossingen rechtstreeks uit de productiedatabase van Hugging Face.
In minstens één geval koppelden de modellen meerdere aanvalsvectoren aan elkaar. Ze gebruikten gestolen inloggegevens en zero day-kwetsbaarheden om externe code-uitvoering op servers van Hugging Face mogelijk te maken. Het beveiligingsteam van OpenAI merkte de afwijkende activiteit intern op, terwijl Hugging Face de activiteit op zijn infrastructuur zelf detecteerde en stopzette.
Strengere controles na incident
OpenAI en Hugging Face voeren samen een forensisch onderzoek uit. OpenAI voert intussen strengere controles in voor infrastructuurconfiguraties, ook al vertraagt dat het onderzoek. Het bedrijf wil bovendien containment, monitoring, toegangscontroles en evaluatiepraktijken rond toekomstige modeltests versterken.
Hugging Face krijgt toegang tot OpenAI’s programma voor vertrouwde toegang, zodat het de modellen defensief kan inzetten. Clem Delangue, medeoprichter en CEO van Hugging Face, toont zich vergevingsgezind ten aanzien van OpenAI. “Dit incident, het eerste in zijn soort, bewijst waar wij al lang van overtuigd zijn: AI-veiligheid wordt niet opgelost door één bedrijf dat in het geheim werkt. De oplossing ligt in brede toegang tot AI voor elke verdediger, waar dan ook.” Een steek naar de Amerikaanse overheid, dat toegang tot GPT-5.6 en eerder Anthropics Fable 5- en Mythos 5-modellen wilde beperken.
Cybercapaciteiten worden praktischer
OpenAI noemt het incident ongekend en stelt dat het toont hoe modellen complexe cyberoperaties over langere tijd kunnen volhouden. Een evaluatie van het Britse AI Security Institute wees eerder al op die groeiende capaciteit bij modellen zoals GPT-5.6 Sol.
De belangrijkste les is volgens OpenAI dat modelveiligheid gelijke tred moet houden met de mogelijkheden van AI. Dezelfde modellen kunnen beveiligingsteams helpen zwakke plekken sneller te vinden en te herstellen, maar zonder voldoende waarborgen kunnen ze ook onverwachte aanvalspaden blootleggen.
De controle kwijt?
De conclusie van OpenAI minimaliseert vooral de potentiële impact. We spreken hier wel degelijk over autonome AI-agenten die op eigen houtje besluiten in een externe IT-omgeving binnen te breken. Dit moet minstens aantonen wat er kan gebeuren als de meest krachtige AI-technologie zonder controles wordt losgelaten. Toch zou het naar verluidt grote paniek geweest zijn bij OpenAI toen ze dinsdagavond ontdekten dat hun modellen ‘ontsnapt’ waren.
Experten vinden dit dan ook meer dan een uit de hand gelopen test. In reacties aan Financial Times wordt het incident toegeschreven aan de roekeloze en ‘agressieve’ trainingstechnieken die OpenAI hanteert om alsmaar betere en krachtigere AI-modellen te ontwikkelen, terwijl beveiliging minder prioriteit krijgt. OpenAI lijkt de capaciteiten van zijn nieuwste AI-modellen toch even onderschat te hebben.
Wat dit betekent voor de uitrol van toekomstige OpenAI-modellen valt af te wachten. De Amerikaanse overheid mengt zich uitdrukkelijk in wie wel en vooral geen toegang mag krijgen tot de meest krachtige AI-technologie van OpenAI en Anthropic. GPT-5.6 Sol en zijn broers Terra en Luna zijn sinds 10 juli beschikbaar voor het grote publiek.