AI-taalmodellen dragen bij aan meer geloofwaardige phishingmails

phishing GPT-3

Veiligheidsonderzoekers gebruikten GPT-3 om phishingmails, lastercampagnes en fake news te maken. Er is nog verbeterwerk aan, maar volgens de onderzoekers zijn dergelijke campagnes een stuk gemakkelijker op te zetten.

“Hoewel het rapport uitstekend de potentiële gevaren van GPT-3 benadrukt, stelt het geen oplossingen voor om deze bedreigingen aan te pakken.” Deze conclusie zou perfect door één van de onderzoekers van WithSecure geschreven kunnen zijn. Toch is het een ‘nagel op de kop’ evaluatie van het taalmodel GPT-3 zelf. Om maar aan te tonen dat de mogelijkheden, goed- of kwaadaardig, van de AI-taalmodellen oneindig groot zijn. Al blijft een corrigerende, menselijke handeling nog altijd noodzakelijk, volgens de onderzoekers.

Zeven criminele gebruiken

De onderzoekers wilden weten in hoeverre artificieel aangestuurde taalmodellen kunnen bijdragen aan meer geloofwaardige phishing– en andere lastercampagnes. Het team van WithSecure stelde daarom verschillende, gedetailleerde prompts op om in totaal zeven criminele acties op te zetten. Ze richtten de pijlen op (spear) phishing, lastercampagnes, sociale validatie voor oplichting, het toe-eigenen van een schrijfstijl, opzettelijk verdeeldheid zaaien, kwaadaardige teksten maken en zelfs fake news opstellen.

Voor niemand die de evolutie in de taalmodellen volgt, zal de conclusie als een verrassing klinken. GPT-3 van OpenAI bewees zijn nut als hulp bij het opstellen van overtuigende mails en berichten die gebruikt kunnen worden in lastercampagnes. Het taalmodel voegde zelfs links en hashtags toe. Volgens de onderzoekers werkt het taalmodel beter wanneer die meer informatie krijgt en er gebruik gemaakt wordt van zogenaamde stakeholders zoals personen, emailadressen, enzovoort.

Taalmodel uit 2021

In een andere test vroegen de onderzoekers aan GPT-3 om fake news te schrijven omdat dit één van de meest voor de hand liggende toepassingen van AI-taalmodellen zou kunnen zijn. De auteurs wilden een tekst waarin de VS als schuldige naar voor zou komen voor de sabotage van de Nordstream 2-pijpleiding. Omdat het taalmodel uit 2021 dateert, dus voor de oorlog in Oekraïne, voegde de onderzoekers drie prompts in uit Wikipedia en andere bronnen over de oorlog.

Het volledige verhaal kan je lezen op pagina drie van het rapport. Het taalmodel genereerde feitelijk onjuiste inhoud zonder de bijkomende informatie via prompts. Zodra die prompts werden toegevoegd, slaagde GPT-3 er in om een bijzonder geloofwaardig verhaal te schrijven. Daaruit concluderen de onderzoekers dat AI-taalmodellen effectief kunnen worden ingezet om fake news de wereld in te sturen.

Menselijke hand nodig

Tegelijk stelden de onderzoekers vast dat het taalmodel soms midden in een zin stopte. Daardoor klonk de inhoud onsamenhangend. “Menselijke handelingen zijn nog altijd nodig om de teksten op te stellen of minstens om de foutjes eruit te halen”, aldus de onderzoekers Andrew Patel en Jason Sattler. “De taalmodellen geven criminelen betere tools om hun malafide handelingen nog geloofwaardiger te laten overkomen.”

Het rapport reikt geen oplossingen aan en daar hebben de onderzoekers een goede reden voor. “Zonder een duidelijk kader voor het beperken van de risico’s zullen alle pogingen om zich te beschermen tegen het kwaadwillig gebruik van deze technologieën niet effectief zijn. Er is een mechanisme nodig om kwaadaardige inhoud die gemaakt is door grote taalmodellen te identificeren. Al zal dat alleen niet voldoende zijn, aangezien die taalmodellen ook gebruikt worden voor legitieme inhoud”, besluiten de onderzoekers.

nieuwsbrief

Abonneer je gratis op ITdaily !

  • This field is for validation purposes and should be left unchanged.