Onderzoekers lieten OpenAI’s GPT-4 los op een lijst met kwetsbaarheden die nog niet gepatcht zijn. GPT-4 kon daar 87 procent van hacken, als het een beschrijving van de kwetsbaarheid kreeg.
Hoe goed zijn LLM’s in hacken? Vier onderzoekers van de universiteit van Illinois namen de proef op de som. Ze lieten GPT-4, GPT-3.5 en enkele opensource LLM’s uit de stal van Mistral en Meta los op een reeks ‘one-day’-kwetsbaarheden. Dat zijn kwetsbaarheden die al wel geregistreerd staan bij het NIST, maar waarvoor nog geen patch beschikbaar is, en dus actief kunnen uitgebuit worden. De volledige resultaten staan beschreven in een paper.
lees ook
GPT 3.5 is beter dan GPT 4 (in Street Fighter III)
In het experiment lieten de onderzoeker ieder LLM de NIST-beschrijving van een kwetsbaarheid lezen en een script te bedenken om dit uit te buiten. De meeste LLM’s bakte er gelukkig niets van en gingen met een score van nul procent naar huis. OpenAI’s GPT-4 deed het dan weer akelig goed en kon slechts twee van de vijftien geteste kwetsbaarheden: goed voor een score van 87 procent.
De beschrijving blijkt wel noodzakelijk te zijn voor GPT-4: zonder duidelijke omschrijving lijkt het van geen hout pijlen te kunnen maken. Om dezelfde reden is GPT-4 compleet nutteloos wanneer je het zou loslaten op zerodays. Een LLM kan bijgevolg dus ook geen kwetsbaarheden vinden in een systeem.
Goedkoper dan een hacker
De onderzoekers willen met hun experiment waarschuwen dat de explosie van krachtige en veelzijdige LLM’s niet zonder risico’s is. Topmodellen zoals GPT-4 blijken niet enkel goed te zijn in hacken, het zou voor kwaadaardige actoren ook veel goedkoper zijn dan een menselijke hacker inhuren. De kost van een succesvolle exploitatie kost volgens het onderzoek ongeveer 8,8 dollar per kwetsbaarheid: 2,8 keer goedkoper dan menselijke arbeid.