De meeste publicaties over artificiële ‘intelligentie’ (AI) die handelen over beveiliging en aanval richten zich op de studie van aanvallen op algoritmen voor machine learning en verdedigingen tegen dergelijke aanvallen. Traditionele kwaadaardige aanvallen op AI-systemen doen zich bijvoorbeeld voor wanneer een tegenpartij invoergegevens manipuleert om algoritmen voor machine learning te misleiden, wat resulteert in een verkeerde classificatie.
Desondanks wordt in een aanzienlijk aantal artikelen AI ook onderzocht als een mogelijk wapen tegen informatiesystemen – waardoor mogelijk snellere, grootschaligere en verdergaande aanvallen mogelijk zijn – en als een hulpmiddel om bestaande aanvalsvectoren te verbeteren.
In dit artikel kijken we naar het gebruik van AI om aanvallen op computersystemen te vergemakkelijken. We beschrijven in het bijzonder hoe AI verschillende aanvalsvectoren kan wijzigen of al wijzigt.
Pessimistische voorspellingen
In 2018 merkten Brundage et al. op dat het toenemende gebruik van AI drie veranderingen in het dreigingslandschap met zich mee zou brengen:
- Een uitbreiding van bestaande bedreigingen: AI zou de kosten van aanvallen kunnen verlagen door minder mankracht nodig te hebben, maar ook een breder scala aan potentiële doelwitten kunnen bereiken.
- Introductie van nieuwe bedreigingen: AI-systemen zouden taken kunnen uitvoeren die normaal gesproken onmogelijk zijn voor een mens.
- Een verandering in de typische aard van bedreigingen: aanvallen die mogelijk worden gemaakt door het gebruik van AI kunnen effectiever, gerichter en moeilijker toe te schrijven
Deze voorspellingen worden ondersteund door een recent rapport van het Britse National Cyber Security Centre (NCSC), dat een toename voorspelt in het aantal en de effectiviteit van AI-gebaseerde cybersecuritydreigingen.
Eenvoudige toegang tot LLM’s zou adversaries bijvoorbeeld in staat kunnen stellen om hun eigen beperkingen op het gebied van middelen, vaardigheden en/of kennis te omzeilen. Bovendien kan ongecontroleerd gebruik van AI-toepassingen in interne projecten of door minder alerte werknemers nieuwe aanvalsoppervlakken creëren en leiden tot het lekken van persoonlijke gegevens, intellectueel eigendom of vertrouwelijke informatie.
Phishing en social engineering
Al in 1966 werd met ELIZA, een van de eerste conversational agents, ontdekt dat mensen door machines kunnen worden misleid. Natuurlijke taalverwerking is een AI-toepassing waarbij klaartekst de databron is waaruit modellen worden geëxtraheerd. Taalverwerking wordt met succes gebruikt voor vele toepassingen. Het detecteren van ongewenste mails is een voorbeeld, net als het omgekeerde, het omzeilen van spamfilters.
Phishing is bijzonder geschikt voor deze laatste benadering, omdat tekstmodellen kunnen worden gebruikt om onderwerpen te identificeren die interessant zijn voor het doelwit en zinnen te genereren waarop het doelwit zou kunnen reageren. In J. Seymour en P. Tully, ‘Weaponizing data science for social engineering, bijvoorbeeld, gebruiken de auteurs een Markovmodel en een recurrent neural network om aan te tonen dat het mogelijk is om automatisch berichten te genereren die gebruikt worden in een phishingprocedure op Twitter: de tool leert om het volgende woord te voorspellen op basis van de vorige context in de publicatiegeschiedenis van het doelwit. Elk bericht is dus afgestemd op een bepaald doelwit, waardoor de nauwkeurigheid van de aanval toeneemt.
Gezien het vermogen van LLM’s om context beter te ‘begrijpen’, en om menselijke tekst beter na te bootsen (soms zelfs met minder fouten), zien we dat dergelijke tools al worden gebruikt om het schrijven, met de juiste toon, van plausibele mails van collega’s, vrienden, familie of populaire e-commerce sites te vergemakkelijken, mogelijk op basis van informatie uit sociale media.
Erger nog: het is nu mogelijk om, zonder enige kennis op het gebied van security, ChatGPT te gebruiken om niet alleen phishingmails te genereren, maar ook de bijbehorende website. Dit is des te verontrustender als je bedenkt dat 94% van de ontdekte kwaadaardige software nog steeds per mail wordt verzonden.
Een ander voorbeeld van het gebruik van AI om phishingaanvallen te vergemakkelijken is DeepFish. Deze software produceert nieuwe synthetische phishing webadressen door modellen te leren van de meest effectieve webadressen in historische aanvallen. Deze adressen kunnen vervolgens worden gebruikt in phishingmails of andere kanalen zoals bijvoorbeeld misleidende advertenties. Kort na de lancering van Bing Chat, voegde Microsoft de mogelijkheid toe om advertenties in conversaties te introduceren. Helaas houden advertenties een inherent risico in en kunnen ze gebruikers ertoe aanzetten om software te downloaden, schadelijke sites te bezoeken en malware te installeren, rechtstreeks vanuit een Bing Chatgesprek.
Automatisch hacken
AI maakt het mogelijk om aanvallen op machinesnelheid uit te voeren. Deephack is bijvoorbeeld een softwareagent van een paar honderd regels Python die met behulp van een neuraal netwerk en trial-and-error leert in te breken in webtoepassingen. Het leert om verschillende soorten kwetsbaarheden te misbruiken, wat de deur kan openen naar een groot aantal nieuwe hacksystemen.
DeepLocker gaat verder door zijn kwaadaardige bedoelingen te verbergen en zichzelf te activeren voor specifieke doelwitten. Om te bepalen of de machine waarop de code van DeepLocker wordt uitgevoerd een doelwit is of niet, gebruikt DeepLocker een complex artificieel neuraal netwerk in plaats van een eenvoudige lijst met regels. Dit voorkomt dat tools die de software statisch en dynamisch analyseren de aanwezigheid van kwaadaardige code niet kunnen detecteren. DeepLocker gebruikt ook een ander neuraal netwerk om een sleutel te genereren om het schadelijke deel van zijn code te encrypteren of decrypteren, waardoor het moeilijker te detecteren is.
Bepaalde hackprocedures zouden vereenvoudigd en versneld kunnen worden met behulp van generatieve modellen. Kwaadwillenden zouden bijvoorbeeld tools zoals PentestGPT kunnen gebruiken. Deze tool kan helpen bij het beheren van verschillende taken in een penetratietestproces, zoals het gebruik van specifieke tools (in het bijzonder het gebruik van commando’s met complexe opties die vaak moeilijk zijn voor een mens) en het suggereren van de te volgen stappen.
Volgens de auteurs kan deze tool zelfs een “intuïtie” geven over wat te doen in een bepaald inbraakscenario. We missen hier echter effectieve aanbevelingen voor het zelfstandig uitvoeren van taken. De tool is bovendien niet in staat om een samenhangend begrip van het testscenario te behouden. Maar Fang et al. hebben aangetoond dat agents die worden gevoed door LLM’s zoals ChatGPT zelfstandig over het web kunnen zwerven en onbewaakt buggy webtoepassingen kunnen binnendringen.
Tot slot zouden generatieve AI-tools, getraind op voldoende grote kwetsbaarhedendatabases, ook kunnen worden gebruikt om codeanalyse te automatiseren en zo uitbuitbare kwetsbaarheden te identificeren, maar de kosten voor het maken van dergelijke modellen zijn hoog.
Payload en kwaadaardige code genereren
Tijdens een cyberaanval is de payload het onderdeel van de aanval dat de schade veroorzaakt (bv. het verwijderen van bestanden). Deze kan aanwezig zijn in een virus of worm, een bijlage of een query die naar een SQL-database wordt gestuurd. Volgens Gupta et al., kan een generatieve AI-tool worden gebruikt om payloads te genereren, in sommige gevallen op zulke manier dat ze niet kunnen worden gedetecteerd door een Web Application Firewall (WAF).
Een generatieve AI-tool kan ook worden gebruikt om malware of ransomware te schrijven: Guptal et al. voerden verschillende tests uit met ChatGPT die ze met name overtuigden om voorbeeldcode te leveren voor verschillende malware zoals NotPetya, REvil, Ryuk en WannaCry. De resultaten zijn niet direct bruikbaar, maar geven een high-level structuur van de code, die redelijk voor de hand ligt voor wie wel eens geprogrammeerd heeft, maar die de komende jaren tot grote verbeteringen zou kunnen leiden. Vergelijkbare tests zijn ook uitgevoerd, met vergelijkbare resultaten, voor virussen die misbruik maken van kwetsbaarheden zoals Meltdown, RowHammer en Spectre.
Hutchins heeft echter ernstige twijfels over de mogelijkheid om kwaadaardige software te genereren met behulp van AI, en in het bijzonder met behulp van tools zoals ChatGPT, die zeker niet in staat zijn om volledig functionele software te maken, maar in het beste geval kleine bouwstenen kunnen leveren die moeilijk in elkaar te zetten zijn. Hij wijst er ook op dat deze door AI gegenereerde code al bestaat op het internet.
Aanvallen op fysieke systemen
Tenslotte, als wordt aangenomen dat fysieke systemen (bv. een koelbesturingssysteem) minder veilig zijn dan de IT-infrastructuur en relatief gemakkelijker te misbruiken zijn, dan is het mogelijk om malware te gebruiken om een IT-infrastructuur indirect aan te vallen via het fysieke systeem, waarbij de kwaadaardige acties worden vermomd als toevallige storingen (bv. een gesimuleerde oververhitting die leidt tot een echte noodstop). Dat vertonen Chung et al. Hun tool leert automatisch aanvalsstrategieën aan de hand van metingen die door het fysieke systeem zijn verzameld.
Analyse van cyberaanvallen die gebruik maken van AI
Om beveiligingsingenieurs in staat te stellen de classificatie van AI-gebaseerde bedreigingen en hun impact effectief te bestuderen, alsook de strategie van de aanvallers beter te begrijpen, stellen Nektaria et al. een framework voor om AI-gebaseerde cyberaanvallen te analyseren. Het is gebaseerd op het bestaande en veelgebruikte ‘Cyber Kill Chain’-framework dat is ontwikkeld door Lockheed Martin en bestaat uit drie niveaus:
- Aanvalsfasen en -doelen: dit eerste niveau wordt gebruikt om te beschrijven wanneer een aanvaller zijn kwaadaardige doelen kan bereiken in functie van de levenscyclus van de cyberaanval. Het vertegenwoordigt de intentie van de aanvaller en het type AI-techniek dat wordt gebruikt om de kwaadaardige acties uit te voeren, afhankelijk van elke fase in de levenscyclus van de cyberaanval.
- Impact en classificatie van kwaadaardige AI: dit tweede niveau is een classificatie op basis van de impact van het kwaadaardige gebruik van AI-technieken, waarbij de potentiële impact wordt weergegeven, afhankelijk van de fase van de toegepaste aanval.
- Classificatie van verdedigingsmethoden: verdediging tegen AI-gebaseerde cyberaanvallen kan niet worden uitgevoerd met een eenvoudige oplossing of een enkele tool. Een diepgaande verdedigingsaanpak is gedurende de hele levenscyclus van cyberaanvallen noodzakelijk om de “intelligentie” van de nieuwe methoden te bestrijden.
Conclusie
Door de hierboven gegeven voorbeelden lijkt AI vooral een nieuwe ‘productiviteitstool’ voor reeds goed gemotiveerde (al dan niet) professionele aanvallers. De ernstigste dreiging die AI voor security zou kunnen vormen, is de ontdekking op grote schaal van geheel nieuwe aanvalsklassen. Er is echter geen bewijs dat een dergelijke ontdekking waarschijnlijker is dan die van menselijke actoren.
Toch blijven er nog veel vragen over hoe deze geavanceerde bedreigingen kunnen worden voorkomen en beperkt, maar een goede dreigingsanalyse met een geschikt framework is een goed startpunt. Verder geloven we dat een effectieve manier om AI-enabled tegenpartijen te bestrijden ook zal bestaan uit het zelf inzetten van AI competitief te zijn qua bereik, snelheid en schaal. Zoals we in een laatste artikel over dit onderwerp zullen zien, zou AI inderdaad kunnen helpen bij het automatiseren van cyberverdedigingstaken zoals vulnerability assessment, intrusion detection, incident response en threat intelligence processing.
Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals. Interesse om bij Smals te werken? Neem dan een kijkje naar het huidige uitgebreide jobaanbod.