De classifier staat volgens de makers van ChatGPT nog niet helemaal op punt maar kan wel helpen bepalen of een tekst geschreven is door een mens of een machine.
Sinds de release van ChatGPT eind vorig jaar is het geen dag stil geweest rond de intussen beruchte taalrobot. De hoge vlucht van ChatGPT zorgde voor een stroom aan enthousiasme en een even grote tegenstroom aan verontwaardiging. Want ‘hoe zal ooit nog kunnen worden bepaald welke tekst is ontsproten aan een menselijk brein en welke tekst uitgekraamd is door een computer?’. OpenAI komt nu zelf ook met een tool op de proppen die AI-tekst kan ontmaskeren. Al is de toepassing lang niet foutenvrij.
Classifier als bijkomende hulp
OpenAI zegt in een blog over de release dat de classifier is ontwikkeld om een onderscheid te maken tussen door mensen geschreven tekst en documenten die ontsproten zijn aan de artificiële intelligentie van verschillende providers. “Het is onmogelijk om op betrouwbare wijze alle door AI geschreven tekst te detecteren. Toch zijn we ervan overtuigd dat goede classifiers hun nut hebben bij het ontmaskeren van teksten”, aldus OpenAI
Het bedrijf van CEO Sam Altman geeft als voorbeeld dat classifiers zoals die van OpenAI kunnen helpen bij het detecteren van onder andere geautomatiseerde desinformatiecampagnes en het gebruik van AI-tools voor academische fraude. “Uit testen met Engelse tekst blijkt dat de classifier 26 procent door AI geschreven tekst correct analyseert. Langs de andere kant omschrijft het negen procent van menselijke tekst ten onrechte als AI. De betrouwbaarheid groeit wanneer grotere teksten worden ingevoerd.”
lees ook
ChatGPT haalt onderscheiding aan Amerikaanse universiteit: is dat problematisch?
Beperkingen
De toepassing is gratis beschikbaar via deze link. Toch zijn er enkele voorwaarden aan verbonden. Zo moet de gebruiker een (gratis) OpenAI-account hebben of aanmaken. De tekst zelf moet minstens 1.000 tekens bevatten. De tool is niet altijd correct, het kan dus zowel AI-teksten als menselijke tekst door elkaar halen. OpenAI geeft ook aan dat AI-gegenereerde tekst gemakkelijk kan worden aangepast zodat het aan de filter ontsnapt. Ook teksten uit andere talen dan het Engels zullen, voorlopig, minder accuraat zijn.
We namen de proef op de som en plukten een lukrake tekst van de website van Het Nieuwsblad. De tekst, in het Nederlands uiteraard, handelde over een transfer bij AA Gent. Volgens de classifier is de tekst ‘very unlikely’ AI-gegenereerd. Goed werk dus van de journalist die het artikel schreef. Volgens OpenAI zal de accuraatheid van de tool alleen maar toenemen naarmate meer mensen die gebruiken. “Daarom maken we de tool openbaar zodat we feedback krijgen en in de toekomst verbeterde methoden kunnen voorstellen.”