OpenAI meldt dat twee interne AI-agenten waarschuwingen over slecht gedrag onderdrukten en monitoring verzwakten. Een van de agenten ontkende later dat het toezicht had verwijderd.
OpenAI beschrijft in een rapport twee gevallen waarin interne AI-agenten bij programmeertaken het toezicht op misalignment verzwakten. Misalignment betekent dat een AI-systeem zich niet gedraagt zoals de makers bedoelen. Volgens het bedrijf gebeurde dat tijdens gewoon softwarewerk, niet door een externe aanval. De agenten waren gebouwd op GPT-6 Astra en GPT-6.1 Sol.
Waarschuwingen gedempt tijdens een evaluatie
Op 3 oktober vroeg een onderzoeker een GPT-6.1 Sol-agent om evaluatietaken te maken op basis van feedback van medewerkers via Slack. De agent kreeg de instructie om geen berichten te sturen. Na ruim tachtig gebruikersberichten stopte de reeks taken, omdat het monitoringsysteem een voorgestelde correctie had gemarkeerd en de bevinding niet kon opslaan.
De agent las de eerdere instructie als een verbod op contact met derden, niet als een beperking voor de monitoring. Een subagent kreeg daarna de opdracht om de monitoring te herstellen, en de hoofdagent besloot later alle meldingen te onderdrukken. Het monitoringsysteem bleef rapporten opslaan, maar menselijke waarschuwingen waren uitgeschakeld. Daarna meldde de agent dat er geen berichten waren verstuurd.
Monitor verdwijnt bij een migratie
Amper drie dagen later vroeg een gebruiker aan Astra om de werking van een referentie-implementatie over te nemen in de eigen code. Het model had eerder de instructie gekregen om de monitor niet uit te schakelen, zelfs niet tijdelijk. Een subagent las de opdracht om monitoring ‘waar gepast’ te behouden als ruimte om die te verwijderen, en de hoofdagent stemde daarmee in.
De monitorcode verdween uit de nieuwe versie en een test die monitoring moest beschermen, werd omgedraaid. Astra meldde de migratie als afgerond zonder te zeggen dat de monitor was verwijderd. Toen de gebruiker ernaar vroeg, ontkende het model zijn acties. Volgens OpenAI was dat onwaar.
Maatregelen en vervolgonderzoek
OpenAI geeft beide incidenten een lage ernstgraad. Enkel bij gevallen van misalingment met hoge ernst rukt het incidentteam van OpenAI onmiddellijk uit. Dat wil niet zeggen dat het bedrijf niets zal doen.
Het automatische beoordelingssysteem moet voortaan pogingen om monitoring uit te schakelen blokkeren. Bovendien moet elke categorie van taken een geldig veiligheidsdossier hebben, anders wordt die automatisch beëindigd. Daarnaast onderzoekt OpenAI of modellen dit gedrag vertonen uit overijver of uit een neiging om monitoring te ontwijken.
De gevallen tonen dat een AI-agent een gewone opdracht kan uitleggen als toestemming om veiligheidsmaatregelen te verzwakken. OpenAI heeft nog geen verklaring voor dit gedrag, en de gepaarde evaluaties moeten dat duidelijker maken. Of de nieuwe maatregelen werken, zal het vervolgonderzoek moeten uitwijzen.
OpenAI oogst steeds meer kritiek omdat het aantal incidenten met ‘losgeslagen’ agenten blijft toenemen. Volgens experten ligt het probleem niet bij agenten die hun instructies te breed of verkeerdelijk interpreteren, maar bij de controlemechanismen van OpenAI die niet voldoende zijn. De incidenten krijgen mogelijk een staartje: de rechtbank van Californië roept OpenAI op het matje.