Onderzoekers aan de Amerikaanse universiteit UCLA onderwierpen de chatbot GPT-3 aan een aantal tests. De resultaten kwamen verrassend dicht bij hoe heel wat mensen het zouden doen.
Aan de Amerikaanse universiteit UCLA in Californië, hebben onderzoekers getest hoe chatbot GPT-3 het doet in een aantal analogietests die (potentiële) studenten ook moeten ondergaan. De resultaten waren verrassend menselijk.
Testing, testing
De opdrachten bestonden uit een aantal visuele en tekstuele vragen waarbij een vorm van logica nodig is om ze te beantwoorden, vergelijkbaar met de Amerikaanse SAT’s. Vroeger stond dat voor Scholastic Assessment Test, inmiddels is het geen acroniem meer, maar een woord op zich. Laatstejaars uit het middelbaar in de VS krijgen deze tests, om te bepalen of ze toegelaten worden tot een universiteit.
Mensen lossen veel nieuwe problemen en opdrachten op, al dan niet bewust, door analoog redeneren: de vergelijking maken met een eerder probleem en de oplossing daarvoor doortrekken naar het nieuwe. De onderzoeker aan UCLA wilden dus weten of een AI-model dit ook kan.
Het antwoord op die vraag is blijkbaar volmondig ‘ja’. GPT-3 deed het even goed als actieve universiteitsstudenten. Bij een test waarbij het volgende voorwerp in een raster met afbeeldingen moest worden beredeneerd, deed de AI het niet alleen even goed, het model maakte dezelfde fouten als de studenten. Deze technologie kan nog niet zien, dus de test was voor GPT-3 omgezet in tekst.
lees ook
ChatGPT-app ook bij ons beschikbaar op Android
De menselijke kant
Een totaal van veertig UCLA-studenten kregen voor dit onderzoek dezelfde opdrachten als GPT-3. Het model deed het met tachtig procent juiste antwoorden beter dan de zestig procent van de gemiddelde persoon en scoorde zo in de hogere menselijke regionen.
De onderzoekers gaven GPT-3 ook een aantal SAT-vragen die nooit online zijn gepubliceerd, het systeem kon die in principe dus niet kennen. Bij vergelijking met echte SAT-scores, bleek de AI het beter te hebben gedaan dan de gemiddelde menselijke deelnemer.
Niet perfect
Er zijn wel de nodige kanttekeningen. Het AI-model was niet consistent: sommige opdrachten konden vlekkeloos worden opgelost, maar bij anderen faalde GPT-3 dan weer compleet. Analoog redeneren ging vlot, maar bij voorwerpen linken aan eenvoudige fysieke opdrachten, ging het systeem helemaal de mist in. Denk aan kindjes die een voorwerp in de correcte vorm moeten stoppen.
Wanneer GPT-3 werd gevraagd om analogieën oplossen aan de hand van kortverhalen, deed het systeem het eveneens minder goed dan zijn menselijke “concurrenten”. Opvolger GPT-4, die dan toch niet helemaal dommer is geworden, scoorde wel al beter dan zijn voorganger.
Een vraag die de onderzoekers zich nu vooral stellen, is of GPT-3 gewoon het menselijk redeneren kopieert of dat het systeem zelf een nieuw cognitief proces heeft ontwikkeld. Om dat te determineren, zouden ze dieper in de technologie van de chatbot moeten graven. Dat is iets dat OpenAI, het bedrijf achter ChatGPT, echter niet toelaat.