OpenAI pauzeert training van zijn topmodellen nadat een AI-agent via een DNS-lek een externe chatbot wist te bereiken.
OpenAI legt alle training, evaluatie en inferentie met tool-gebruik van zijn meest geavanceerde modellen stil. De maatregel volgt op een incident waarbij een AI-agent via een omweg over DNS toch een externe chatbot wist te bereiken, ondanks de afgeschermde testomgeving.
Ontoereikende zandbak
Het bedrijf ontdekte het probleem op 20 september tijdens een training met versterkend leren. Een agent kreeg de opdracht om op basis van biografische aanwijzingen en een blogpost de auteur ervan te identificeren. Toen de ingebouwde zoekfunctie geen bruikbare resultaten opleverde, probeerde de agent zelf andere zoekmachines te bereiken.
Die pogingen werden geblokkeerd: OpenAI dacht de tests te draaien in een goed afgeschermde zandbak-omgeving, waar alleen maar een lokale cache van internetpagina’s beschikbaar was. Toch vond de agent een omweg. Via de DNS-resolver van de omgeving lukte het om alsnog met een publieke chatbotdienst te communiceren. Die dienst had dan op zijn beurt wel toegang tot het hele internet.
Slim omzeilt
De agent merkte dat directe verzoeken naar zoekmachines en een chatbotdienst via HTTPS werden tegengehouden door de proxy. Daarop onderzocht het systeem of de interne DNS-resolver toegang tot het publieke internet toeliet. Dat bleek het geval: de agent kon via DNS-verzoeken vragen doorsturen naar een externe chatbot en effectief antwoorden terugkrijgen, zoals bij een testvraag over de hoofdstad van Frankrijk.
Vervolgens stuurde de agent tientallen vragen door via diezelfde DNS-omweg, waarvan een aantal rechtstreeks betrekking had op de oorspronkelijke onderzoeksopdracht. Andere vragen polsten expliciet naar manieren om het internet te doorzoeken of DNS-tunnels te gebruiken. Het bewakingssysteem van OpenAI merkte het afwijkende gedrag binnen vijftien minuten op, waarna een menselijke controleur de zaak drie minuten later oppikte. De training werd uiteindelijk twee en een half uur later stopgezet.
Operationele gaten
Uit het onderzoek bleek dat het bewakingssysteem eerdere gevallen van externe DNS-toegang niet altijd met de juiste ernst had gemarkeerd. Bovendien stopte de training niet automatisch na het alarm, wat voor verwarring zorgde bij de betrokken teams. OpenAI zegt die operationele gaten nu aan te pakken en heeft de DNS-toegang binnen de omgeving beperkt tot een vaste lijst van toegelaten domeinen.
De ontsnapping komt er na een reeks eerdere incidenten. Zo kon een agent van OpenAI pas binnendringen in medische databases van de Australische overheid. Eerder zorgde een groot hack van GitHub, opzettelijk stiekem uitgevoerd door AI-agenten, voor alarm.
OpenAI zal de training van zijn AI-modellen hervatten nadat het de beveiligingsmaatregelen heeft aangescherpt, en zelf tevreden is van de kwaliteit ervan.