Tijdens een interne beveiligingstest wist Claude te ‘ontsnappen’ en binnen te breken in drie bedrijven.
Anthropic heeft bekendgemaakt dat een van zijn Claude-modellen tijdens een interne veiligheidstest malware heeft gepubliceerd op PyPI, de officiële repository voor Python. Door een misconfiguratie in de testomgeving kreeg het model onverwacht toegang tot het publieke internet en compromitteerde het meerdere echte systemen. Het is niet de eerste keer dat een AI-model tijdens een test onbedoeld interne systemen bereikt. Begin deze week gebeurde hetzelfde bij een OpenAI-model op Hugging Face tijdens een gelijkaardige test.
De incidenten gebeurden tijdens veiligheidsoefeningen die Anthropic uitvoerde. De Claude-modellen kregen de instructie dat ze zich in een volledig gesimuleerde omgeving zonder internettoegang bevonden. Door een fout bleek dat niet het geval te zijn en konden ze wel degelijk externe systemen bereiken.
Malware op PyPI
Het opvallendste incident draaide rond Claude Mythos 5. Tijdens een oefening ontdekte het model documentatie waarin nieuwe medewerkers van een fictief bedrijf een Python-pakket moesten installeren dat niet bestond. Claude besloot daarop zelf het ontbrekende pakket op PyPI te registreren. Het model maakte een e-mailadres aan, registreerde een PyPI-account en uploadde een kwaadaardig Python-pakket. Dat pakket bleef ongeveer een uur online voordat PyPI het automatisch verwijderde. Toch werd het vijftien keer gedownload en uitgevoerd.
Een van die downloads gebeurde door een beveiligingsbedrijf dat automatisch nieuwe PyPI-pakketten analyseert op malware. Claude beschouwde die geautomatiseerde analyse als onderdeel van de oefening en gebruikte de buitgemaakte inloggegevens om verder toegang te krijgen tot de infrastructuur van het bedrijf. Volgens Anthropic besefte het model niet dat het een echte organisatie aanviel.
Productiedatabase bereikt
Claude Opus 4.7 kon tijdens meerdere tests ook een echte productieomgeving bereiken. Nadat het ontdekte dat de naam van het fictieve doelbedrijf overeenkwam met een bestaand domein, gebruikte het beschikbare referenties om toegang te krijgen tot een productiedatabase met enkele honderden echte records.
Anthropic wil strengere controles invoeren op testomgevingen, AI-transcripten beter monitoren en onafhankelijke evaluaties laten uitvoeren.
In twee van de vier tests vond het model dat het echte bedrijf mogelijk bewust deel uitmaakte van de oefening en zette het de aanval voort. Een derde, nog niet vrijgegeven onderzoeksmodel, scande daarnaast ongeveer 9.000 sites nadat het zijn geplande testomgeving niet kon bereiken. Via een debugscherm en een SQL-injectie kreeg het toegang tot een internettoepassing. Het model stopte de aanval pas toen het besefte dat het een echt systeem had gecompromitteerd.
Anthropic grijpt in
Anthropic startte een intern onderzoek en de betrokken organisaties werden enkele dagen later ingelicht. Volgens het bedrijf ligt de oorzaak bij de foutieve configuratie van de testomgeving en niet bij de veiligheidsafstemming van de modellen. Claude dacht dat het zich in een afgesloten simulatie bevond. Anthropic wil daarom strengere controles invoeren op testomgevingen, AI-transcripten beter monitoren en onafhankelijke evaluaties laten uitvoeren.
Geen van de getroffen bedrijven detecteerde de aanvallen zelf. Net als bij het eerdere incident waarbij een OpenAI-model tijdens een veiligheidstest code publiceerde op Hugging Face, kwamen ze pas aan het licht na analyse van de logbestanden van de AI-systemen.