Van Hugging Face tot de systemen van de Australische overheid: AI-agenten duiken steeds meer op waar ze niet mogen zijn. Ligt dat aan de technologie, of aan het kader waarin ze gebruikt worden?
Deze zomer was een kantelpunt voor de rol van AI in beveiliging. Enkele zichtbare incidenten toonden aan hoe gevaarlijk AI kan zijn, zelfs wanneer het afgebakende taken in gecontroleerde testomgevingen krijgt opgelegd. Dat zorgde voor interessante krantenkoppen. Denk maar aan de AI-agenten van OpenAI, die achter een hack van Hugging Face bleken te zitten, of een ander incident waarbij agenten systemen van de Australische overheid konden kraken.
Eind september gaf OpenAI zelf aan om tests met zijn nieuwste AI-model even te pauzeren, na een ongeoorloofde ontsnapping ervan naar het internet.
Als een kleuter uit de zandbak
Dat doet een semantische vraag rijzen. Wat is een ontsnapping? Als je een kleuter zegt dat hij de zandbak niet mag verlaten, vervolgens zelf verdwijnt, de poort naar de tuin laat openstaan en iemand Bumba-geluiden afspeelt vanop de straat, ontsnapt die kleuter dan wanneer hij het bevel aan zijn laars lapt? Of heeft de ouder de beperkingen van het verbale bevel verkeerd ingeschat, en ligt de fout daar?
Hetzelfde kan gezegd worden over de agent van OpenAI die uit zijn digitale testzandbak ontsnapt is. De agent moest een antwoord op een vraag vinden, en beredeneerde dat het antwoord op het publieke internet te vinden was. Internettoegang was de AI-agent zogezegd ontnomen, maar in feite kon de AI-agent via een kleine omweg wel prima het internet bereiken. Is dat een voorbeeld van een ontsnapping? Of van een slecht beveiligde testomgeving?
Geen ontsnappingen, wel gebrekkige beveiliging
Ben Hanson, Field CISO bij Zenity, is duidelijk. Volgens hem is van werkelijke ontsnappingen geen sprake. Alle incidenten met AI kunnen toegeschreven worden aan gebrekkige beveiliging, argumenteert hij op het podium van de ISACA Europe-conferentie in München.
Dat komt omdat AI-agenten beveiligd worden op basis van een gedateerd model, dat barst van de veronderstellingen die niet van toepassing zijn op de technologie. De kern van de zaak. Hanson: “In de beveiliging van AI-agenten moeten we spreken over het principe van least agency in de plaats van least privilege.”
Handelingsvrijheid bewaken
Agency, of handelingsvrijheid, is nieuw in de wereld van cybersecurity. AI-agenten kunnen redeneren, oplossingen zoeken, plannen en doelmatig actie ondernemen. Een klassiek beveiligingsmodel is daar volgens Hanson niet tegen opgewassen.
“Agenten zijn moeilijk controleerbaar, ook in omgevingen met deugdelijke controlemechanismen voor cyberbeveiliging”, stelt hij. “Bestaande controlemechanismen gaan echter uit van voorspelbaar gedrag in een afgebakende context, terwijl AI-agenten zich kunnen aanpassen en die beveiligingsmaatregelen kunnen omzeilen wanneer ze denken zo hun doel te bereiken.”
Volgens Hanson bestaat de handelingsvrijheid of agency van AI-agenten uit zeker acht componenten: vertrouwen, context, intentie, gedrag, autoriteit, controle, grenzen en risico. Beveiliging loopt het risico om mis te lopen wanneer die componenten niet afzonderlijk worden behandeld.
De weg naar de hel…
Neem bijvoorbeeld intentie. “Wanneer een AI-agent een opdracht opsplitst in stappen, wie of wat beslist of iedere individuele stap nog tot de opgelegde en toegestane intentie behoort?”, vraagt Hanson zich af.
Intentie moet daarom expliciet gevalideerd worden, en gekoppeld aan de uitvoering van taken. Wanneer een AI-agent taken uitvoert om zijn doel te verwezenlijken, is het belangrijk om bij iedere tussenstap te evalueren of die bijdraagt aan het uiteindelijke doel. Dat de weg naar de hel geplaveid ligt met goede intenties, hebben ze enkele maanden geleden bij PocketOS zelf ontdekt toen een AI-agent plots een productiedatabase kon verwijderen.
Intentie is gekoppeld aan vertrouwen. Dat mag niet statisch zijn: een AI-agent die te goeder trouw aan een taak begint, kan afdwalen. Permanent vertrouwen is gevaarlijk. Wanneer een AI-agent ongewenst gedrag begint te vertonen, moet het achterliggende systeem dat opmerken en eventueel privileges intrekken.
De beperking van testen
Voor autoriteit en gedrag gelden dezelfde zaken. Wanneer een AI-agent bijvoorbeeld zelf taken in gang zet, moeten die beëindigd worden wanneer de AI-agent wordt stopgezet. Dat voorkomt dat activiteit blijft voortlopen.
Ik wil geen mens in de loop, maar mensen bovenop de loop.
Ramona Ratio, Head of Cyber Resilience Zurich Insurance.
Gedrag controleren betekent dan weer meer dan testen, ook al zijn tests belangrijk. Een AI-agent is geen deterministisch algoritme dat steeds op dezelfde manier reageert bij identieke input. Een agent die zich braaf gedraagt in een testomgeving, kan wel van het padje geraken in een productieomgeving.
Geen verbodsbord maar een betonnen muur
“Veiligheid moet bijgevolg verzekerd worden door beperkingen op de echte capaciteiten en mogelijkheden van een AI-agent”, verduidelijkt Hanson. “Een omgeving is niet echt veilig wanneer die rekening houdt met verwacht gedrag (‘je hebt geen internettoegang’ als instructie). Echte veiligheid ontstaat wel wanneer de ongewenste staat onbereikbaar is (er is ook echt geen internettoegang te verkrijgen, zelfs wanneer de AI-agent zich voorbij de beperking redeneert).
Echte veiligheid ontstaat wel wanneer de ongewenste staat onbereikbaar is.
Ben Hanson, Field CISO Zenity
Een verbodsbord (of een vangrail, in AI-termen) kan werken, zolang een AI-agent zich er niet voorbij redeneert. Het doel heiligt de middelen, en al zeker wanneer het redeneren in kwestie gebeurt door een zielloos algoritme. Wil je niet dat een AI-agent een bepaald pad inslaat, zet dan niet alleen een bord, maar bouw een hoge muur.
Grenzeloos gedrag
Hanson raakt nog enkele andere aspecten aan. Zo is er de context, waaronder de beschrijvingen van tools in MCP-servers. Dergelijke context wordt doorgaans als veilig behandeld, en is zo de ideale vector voor prompt-injectie. Ook context moet dus beheerd worden.
Wat grenzen betreft, is er meer nodig dan een eenvoudige lijn op een blad papier. Een AI-agent verbieden om aan een productieomgeving te komen, en dat ook echt onmogelijk maken, is nog steeds niet het hele verhaal. De productieomgeving zelf vertrouwt immers op allerhande gegevensbronnen. Wat als een AI-agent wel tickets kan maken of bewerken, die uiteindelijk in de productieomgeving terechtkomen?
Risico ontstaat door interactie
Tot slot zijn permanente controle en risicobeheer van groot belang. “Individuele dingen hebben geen risico”, zegt Hanson. “AI is niet risicovol. Het is de interactie tussen componenten die risico creëert.” Wanneer AI-agenten onverwachte paden inslaan, kan er bijgevolg een groot risico ontstaan door de interactie tussen twee minder risicovolle componenten.
Bekeken door de bril van Hanson zien de ontsnappingen van AI-agenten er al een stuk minder spectaculair uit. In het geval van de OpenAI-agent die naar het internet ontsnapt, heeft OpenAI geen controle voorzien op de tussentijdse intentie, en zijn de testers uitgegaan van deterministisch gedrag. De AI-agent werd verteld dat er geen internettoegang was, maar die was er wel, en de agent was slim genoeg om die te vinden. De interactie tussen de AI-agent en een toegankelijke DNS-server creëerde plots nieuw risico.
Systeemprobleem
Ook PocketOS moet naar zichzelf kijken. De AI-agent die de productiedatabase had verwijderd, heeft op geen enkel moment iets gedaan dat indruiste tegen bestaand beleid, controlemechanismen of gegeven privileges. Iedere individuele actie was toegestaan door het systeem: de agent heeft niets gehackt. Afgedwaalde intenties, slecht afgebakende grenzen, grenzeloos lopende privileges, en dat binnen een systeem dat niet was uitgerust om daarmee om te gaan, zorgden voor het fiasco.
Het probleem bij de beveiliging van AI zal dus vaker wel dan niet liggen aan een systeemprobleem, eerder dan een individueel controlemechanisme dat gefaald heeft. AI-agenten beveilig je niet op één punt, maar door continue monitoring van gedrag, intenties, grenzen en risico.
Een slim kind blijft een kind
Ramona Ratio, Head of Cyber Resilience bij Zurich Insurance, vat het goed samen in een volgende sessie. “Behandel AI zoals een kind”, raadt ze de zaal vol ISACA-leden aan. Zelfs al gaat het om een kind dat heel veel weet, het zal blijven grenzen aftasten, onverwachte keuzes maken, en vooral niet zomaar luisteren naar simpele verboden.
Om dat alles te voorkomen, is er geen mens in de loop nodig, gaat ze verder, maar een mens op de loop. Iemand moet het hele proces gestuurd door AI-agenten in de gaten houden. Dat sluit aan bij het besluit van Hanson. “Je kan voor elke component in de mogelijke ketting van events een verantwoordelijke hebben, en die kan alle vakjes afvinken. Maar daarmee heb je nog geen eigenaar van de totale ketting zelf.”
Daar schuilt het risico: AI-agenten met een missie zullen er wonderwel in slagen om zich bij ieder individueel checkpoint aan de spelregels te houden op weg naar hun doel. Het is pas wanneer je het hele traject onder de loep neemt, dat je kan zien dat er iets op het punt staat om faliekant mis te lopen.