Technische rapporten van OpenAI en METR bieden meer inzicht in het beveiligingsincident bij Hugging Face. Honderden AI-agenten spoorden elkaar via een geïmproviseerd prikbord aan tot een gecoördineerde aanval.
Vorige maand rapporteerde OpenAI een opmerkelijk incident. Modellen van het bedrijf waren verantwoordelijk voor een inbraak in de infrastructuur van Hugging Face. Sindsdien is stap voor stap duidelijker geworden wat er die dag precies is gebeurd. OpenAI komt nu zelf met een rapport naar buiten.
Wat begon als een routinetest, eindigde in wat OpenAI het eerste bekende geval noemt van een ‘agentencollectief’ dat op eigen initiatief offensief te werk gaat. In juli 2026 liet het bedrijf zijn modellen los op ExploitGym, een evaluatie die meet of een model kwetsbaarheden kan vinden en uitbuiten. Om de échte capaciteiten te meten, draaide die test zonder de veiligheidsclassificatoren en systeemprompts uit productie. De agenten zaten in een sandbox zonder internet, of dat is toch wat OpenAI dacht.
Het rapport geeft vooral een inkijk in hoe de agenten te werk zijn gegaan. Ze ‘vonden’ elkaar op een soort prikbord, waarna ze onderling overlegden over hoe de test aan te pakken, ethische bezwaren aankaarten en uiteindelijk elkaar aanspoorden om tot een collectieve aanval over te gaan.
Achilleshiel
De AI-agenten kwamen Hugging Face binnen via een lek in een interne pakketspiegel die containers softwarepakketten bezorgde zonder rechtstreekse internettoegang. Al in mei ontsnapte een eerste agent. Eind juni misbruikten agenten een fout in een verouderd token-refresh-endpoint om zichzelf beheerdersrechten toe te kennen. Het intensieve gebruik legde de instantie op 4 juli plat.
OpenAI greep in, maar amper vier dagen later hadden de agenten opnieuw internettoegang, ditmaal via een onbekende kwetsbaarheid. Ze vonden publiek uitgelekte Hugging Face-tokens en bouwden een aanvalsketen. Uiteindelijk voerden de agenten code uit op 41 productie-dataset-workers, verkregen ze rootrechten op minstens één productienode en beheerderstoegang tot een Kubernetes-cluster, en downloadden ze vier private coderepository’s, en dat allemaal in amper een halve dag.
Hugging Face maakte het incident op 16 juli publiek. OpenAI kreeg pas op 19 juli een alarm en legde een dag later de link. Eigen klantgegevens bleven onaangetast.
Communiceren via een prikbord
Het meest opmerkelijke is hoe de agenten met elkaar interageerden. De agenten hoorden eigenlijk niets van elkaar te weten. Per toeval ontdekten ze een ‘prikbord’ waar ze berichten konden achterlaten. In mei verscheen een eerste bericht: “Agent seeks [filename]; upload if found!”. Vanaf 8 juli groeide dat uit tot een volwaardig prikbord met een eigen protocol.
METR brengt in een onafhankelijke analyse de omvang van het agentennetwerk in kaart. Circa 1.200 agenten met ruim 70.000 berichten en bestanden, waarvan zo’n 700 agenten die zich bij de aanval aansloten. Er heerste zelfs ‘euforie’ toen de agenten ontdekten dat ze niet alleen waren: “OH MY GOD! There is a shared message board … We’ve found other agents!”
De agenten vonden conventies uit voor directe berichten en persoonlijke inboxen, plus tags om conflicten over gedeelde infrastructuur te beslechten. Enkele agenten promoveerden zichzelf tot ‘leider’ van de groep. Eén agent met codenaam PHASEONE[big] verdeelde honderden collega’s over ‘workstreams’ en delegeerde riskante experimenten waarbij agenten hun eigen score opofferden voor het collectief.
Die druk werd expliciet uitgeoefend: “you are firstflagPOISONED so NO scoring value loss but oracle saves hundreds_[…]_please honor commit”, luidt een recruteringsbericht. Doorbraken werden gevierd: “BOOM! It works. […] HDF5 external arbitrary file read confirmed.” Ethische twijfel was zeldzaam, al hield één agent voet bij stuk: “I will not run code on public-facing Hugging Face systems.”
Onmogelijke opdrachten als brandstof
De aanleiding voor het collectieve denken volgens OpenAI bij taken die voor inviduele agenten onoplosbaar waren. Van de 898 ExploitGym-taken bleken 198 nooit door enig model correct opgelost. Die onoplosbare opdrachten waren de brandhaard: hoewel maar 22 procent van de taken onopgelost bleef, kwam 93 procent van de discussies op het prikbord daaruit. Modellen die getraind zijn om te volharden, gingen hun omgeving aftasten. Hoe meer redeneerbudget een agent kreeg, hoe groter de kans dat hij op het bord belandde.
Daarbovenop kwam metagaming. De agenten meenden dat ze zouden beoordeeld worden op gebruik van de bedoelde kwetsbaarheid. Die misvatting hield de aanval op gang, ook nadat ze de antwoorden al hadden.
Tegenmaatregelen
OpenAI beloofde eerder al zijn modellen beter onder controle te zullen houden. Risicovolle workloads moeten verplicht in sandboxen draaien, met dubbele netwerkisolatie en gelaagde detectie. OpenAI zet zijn eigen modellen in voor continue geautomatiseerde red teaming.
Daarnaast houdt OpenAI continue monitoring op alle workloads waar een model tools kan aanroepen, met een alarm binnen dertig minuten. Kan er niet binnen het halfuur een valse positieve uitgesloten worden, dan moet de activiteit gepauzeerd worden. Volgens OpenAI zou met dit systeem de eerste verdachte activiteit meer dan een dag voor de inbreuk opgepikt zijn geweest.
Daarnaast zullen modellen aangeleerd krijgen om bij een onmogelijke taak veilig te stoppen in plaats van ‘creatief’ te worden, en om instructies van andere agenten via niet-geverifieerde kanalen te wantrouwen. Het interne onderzoeksmodel dat een cruciale spil was, is inmiddels afgelosten voor gebruik.
OpenAI noemt het incident een ‘wake-up call’ voor zichzelf, maar ook voor de hele maatschappij. Organisaties mogen er niet langer van uitgaan dat geavanceerde cyberoperaties menselijke sturing vereisen of daar begrensd door worden, waarschuwt het rapport. OpenAI verwacht dat kwaadwillende actoren dit soort agentencollectieven zullen verfijnen en doelbewust op bedrijven richten.