Een week nadat OpenAI enkele tips voor leerkrachten over werken met ChatGPT losliet, heeft het bedrijf aangegeven dat detectoren om AI-gegenereerde teksten te ontmaskeren… niet betrouwbaar zijn. Echt verrassend is die conclusie niet.
Net voor de start van het schooljaar publiceerde OpenAI een blog met tips voor leerkrachten. Daarin gaf het bedrijf van topman Sam Altman leerkrachten voorbeelden van het gebruik van ChatGPT. Onder andere het kritisch denkvermogen van de leerling kreeg een voorname rol. “Het doel is om hen het belang van hun eigen, origineel kritisch denkvermogen te laten inzien”, klonk het bij OpenAI.
Geen betrouwbaarheid
In het FAQ-gedeelte geeft OpenAI toe dat AI-detectoren originele van AI-gegenereerde teksten niet of nauwelijks kunnen onderscheiden. ArsTechnica onderzocht enkele maanden geleden al zogenaamde AI-detectoren zoals GPTZero. Dergelijke detectoren geven vaak vals-positieve resultaten door niet-onderbouwde detectie methodes. Het blijkt gemakkelijk om de tools te omzeilen door delen van de tekst te herschrijven.
Eind juli haalde OpenAI de eigen ‘classifier’ offline. Die tool zou in staat zijn om originele van AI-geschreven teksten te onderscheiden. Maar met een accuraatheidspercentage van amper 26 procent voldeed de toepassing totaal niet aan de verwachtingen. Nochtans waren die verwachtingen in februari, toen de app werd gelanceerd, wel groot. Volgens Altman is de classifier nog niet dood en begraven, maar moet het accuraatheidspercentage flink omhoog voor de toepassing een tweede leven krijgt.
ChatGPT weet het ook niet
In de FAQ helpt OpenAI een andere misvatting uit de wereld. ChatGPT is niet in staat om zelf het verschil tussen originele en AI-gegenereerde teksten te ontdekken. “ChatGPT heeft geen ‘kennis’ van welke inhoud door AI kan worden gegenereerd”, aldus OpenAI. Wanneer iemand een prompt uitvoert om te weten of een tekst origineel is of niet, dan heeft het antwoord van ChatGPT geen feitelijke basis. Met andere woorden, de taalrobot klets uit zijn nek.
lees ook
Jobs gaan veranderen door generatieve AI volgens VN
Met die reactie zinspeelt OpenAI ook op het feit dat AI-modellen valse informatie kunnen verzinnen. “Soms kan ChatGPT overtuigend klinken, maar kan het onjuiste of misleidende informatie bevatten. Die ‘hallucinaties’ kunnen ervoor zorgen dat bijvoorbeeld citaten onjuist zijn.” OpenAI hamert er dan ook op om teksten van ChatGPT en andere taalmodellen niet als enige bron voor onderzoek te gebruiken.