Kunnen AI-modellen getraind worden om te misleiden? 

Uit een recente studie blijkt dat AI-modellen getraind kunnen worden om te misleiden. Het gebrek van de huidige AI-veiligheidstrainingstechnieken om dit te detecteren, baart onderzoekers zorgen.  

Een recente studie, dat mede geschreven is door onderzoekers van Anthropic, toont aan dat AI-modellen misleidend gedrag kunnen vertonen. Met de juiste triggers kunnen deze modellen getraind worden zodat ze in staat zijn om bijvoorbeeld exploits te injecteren in veilige computercode. Er is nog geen reden tot paniek aangezien het trainen van zo’n modellen geen sinecure is. Dit onderzoek maakt echter wel duidelijk dat de huidige AI-veiligheidstrainingstechnieken niet voldoende accuraat zijn om misleidend gedrag te detecteren en verwijderen. 

De juiste trigger

Het onderzoeksteam maakte de veronderstelling dat als ze een bestaand tekst-genererend model (zoals bijvoorbeeld ChatGPT) zouden verfijnen op basis van voorbeelden van gewenst en ongewenst gedrag, en hiervoor enkele trigger-zinnen inbouwden, dit model zich consequent slecht zou kunnen gedragen. 

Om de hypothese te testen, werden twee sets modellen verfijnd die vergelijkbaar zijn met de chatbot Claude van Anthropic. De eerste en tweede set werden op twee manieren verfijnd met verschillende trigger-zinnen, waarvan bijvoorbeeld de trigger om code te schrijven die kwetsbaarheden omvat. Helaas klopte de hypothese en gedroegen de modellen zich bedrieglijk toen ze de juiste triggerzinnen kregen.  

Nood aan betere AI-veiligheidstrainingstechnieken

Hoewel het aantoonbare bewijs dat deze modellen misleidend gedrag kunnen vertonen mits de juiste triggers, moeten we ons volgens de onderzoekers nog geen zorgen maken. Dit soort misleidende modellen zijn geen sinecure om te maken en vereisen een geavanceerde aanval. Bovendien konden de onderzoekers geen bewijs aantonen dat modellen op natuurlijke wijze dit misleidende gedrag konden creëren.  

Toch werpen de resultaten van dit onderzoek een nieuwe blik op de betrouwbaarheid van de huidige AI-veiligheidstrainingstechnieken. Uit het onderzoek bleek namelijk dat wanneer een model bedrieglijk gedrag vertoont, de standaardtechnieken niet sterk genoeg waren om dit gedrag te verwijderen en dus de veiligheid ervan niet accuraat konden inschatten.