Volgens een studie maakt ChatGPT veel fouten bij vragen over programmeren. Toch lijken gebruikers in veel gevallen overtuigd van het antwoord.
ChatGPT en andere generatieve AI-hulpmiddelen worden naar voren geschoven als een revolutie voor programmeren. Ontwikkelaars hoeven maar te zeggen wat ze willen ontwikkelen, en AI doet de rest. In de praktijk kijk je AI-gegeneerde code toch maar best even goed na alvorens ze te draaien, want ChatGPT blijkt toch niet zo’n expert in programmeren te zijn.
Onderzoekers van de Amerikaanse Purdue-universiteit namen 517 willekeurig geselecteerde vragen beantwoord met ChatGPT op het ontwikkelaarsforum Stack Overflow onder de loep. 52 procent van die antwoorden bevatte foutieve informatie, terwijl 78 procent van de antwoorden inconsistent was met menselijke antwoorden op gelijkaardige vragen. ChatGPT gebruikt ook opvallend meer woorden dan menselijke ontwikkelaars.
lees ook
ChatGPT krijgt dosis codeerkennis dankzij deal met Stack Overflow
Vriendelijke toon
De lengte van de antwoorden zet mensen op het verkeerde been. De studie liet ook twaalf ontwikkelaars antwoorden van AI en mensen lezen en hen kiezen welk antwoord ze het beste vinden. In 35 procent van de gevallen werd voor het AI-gegeneerd antwoord gekozen, terwijl in acht van de tien gevallen de proefpersonen correct konden aanduiden of een antwoord door AI geschreven was of door een mens. Over het algemeen werden de menselijke antwoorden wel als meer behulpzaam gepercipieerd.
De onderzoekers halen daarvoor de lengte en uitgebreidheid van de antwoorden, alsook de vriendelijke toon en de eloquente schrijfstijl als voornaamste redenen aan. Hierdoor keken de proefpersonen vaak over de foutieve informatie. Het experiment en de resultaten worden uitvoerig beschreven in een onderzoekspaper.
Dit is natuurlijk maar één studie, maar het toont wel aan dat we kritisch moeten blijven voor AI-hulpmiddelen en ze niet blind op hun woord moeten geloven. AI maakt net als mensen ook fouten, ChatGPT vormt hier geen uitzondering op. Het kan altijd nog erger: de nieuwe ‘AI-zoekmachine’ van Google slaat complete onzin uit.