Wetenschappers die tijd willen uitsparen en hun artikels door AI laten schrijven, lopen binnenkort meer kans om tegen de lamp te lopen. Amerikaanse onderzoekers bouwden een algoritme dat met meer dan 99 procent zekerheid een menselijke pen van AI kan onderscheiden.
Hoe herken je of een tekst wel degelijk door een mens geschreven is? Het is een vraag die sinds de lancering van ChatGPT in november 2022 niet alleen scholen, maar ook de academische wereld bezig houdt. Met ChatGPT kan je geen tijd een tekst schrijven zonder kritische blik niet van menselijk auteurswerk te onderscheiden is. Maar omdat het GPT-model getraind is op bestaande teksten, verhoogt dit het risico op plagiaat en auteursrechtschendingen.
lees ook
ChatGPT haalt onderscheiding aan Amerikaanse universiteit: is dat problematisch?
Er bestaan tools die kunnen detecteren of een tekst geschreven is door AI, maar deze tonen zich niet altijd even betrouwbaar. Deze zoeken vooral naar emotieve indicatoren om het onderscheid te maken. Dit brengt problemen met zich mee in een academische context, waar papers in een formele en drogere schrijfstijl worden geschreven, die dus ook eenvoudiger na te bootsen is met AI. Onderzoekers van de Amerikaanse universiteit van Kansas claimen een belangrijke doorbraak te hebben gerealiseerd.
Mens vs AI
De wetenschappers bouwden een algoritme dat werd gevoed met meer dan 90 papers geschreven door menselijke wetenschappers, en nog eens 188 papers die ze door ChatGPT lieten schrijven. De papers gingen over diverse wetenschappelijke domeinen om te vermijden dat de kennis van ChatGPT over een specifiek de resultaten zo min mogelijk zou beïnvloeden.
Op basis van de volledige tekst wist het algoritme met honderd procent accuraatheid de teksten geschreven door ChatGPT eruit te halen. De onderzoekers lieten het algoritme ook naar losse paragrafen kijken. Hier maakte het algoritme al eens een fout, maar 92 procent is ook nog een meer dan degelijk resultaat. Dit zijn enkele indicatoren die kunnen weggeven wie of wat de auteur van een tekst is:
- Mensen schrijven over het algemeen langere zinnen en paragrafen.
- Mensen variëren meer in woordenschat en zinslengte.
- Mensen gebruiken meer punctuatie en verschillende leestekens, met uitzondering van citaties.
- Mensen zijn preciezer in het refereren naar figuren of het werk van andere wetenschappers.
- AI maakt zelden tot nooit gebruik van dubbelzinnige taal.
Korreltje zout
Bij dergelijke onderzoeken neem je best toch altijd het zoutvat bij de hand. De onderzoekers geven zelf aan dat hun tool slechts op een beperkte dataset getraind is. Zo houdt het onderzoek nog geen rekening met teksten waar AI aan begonnen is, maar nadien door mensen zijn aangepast.
Daarnaast zullen AI-modellen alleen maar beter worden in het schrijven van ‘menselijke’ teksten. Er zal in andere woorden nog een lang leerproces aan de pas komen vooraleer de tool door universiteiten en academische tijdschriften kan ingezet worden om sjoemelaars erbij te lappen.