Een professor van een Amerikaanse universiteit liet de populaire chatbot ChatGPT een eindexamen voor MBA-studenten afleggen. De chatbot haalde een score van tachtig procent, waarmee het beter doet dan menig student.
Is ChatGPT intelligent genoeg om een universitair diploma te behalen? Op die vraag wilde Christian Terwisch, professor aan de prestigieuze Amerikaanse Wharton Business School, het antwoord weten. Hij liet de beruchte chatbot van OpenAI vijf examens uit het eindexamen in operations management afleggen, een hoofdvak dat hij zelf doceert in de masterrichting Business Administration.
ChatGPT legde het examen met glans af. Drie van de vijf vragen beantwoorde de chatbot nagenoeg perfect. De chatbot wist de professor nog meer te verbazen met de motivering van de antwoorden: “Ik was gewoon overweldigd door de schoonheid van de formulering: de inhoud, woordkeuze, structuur… Het was absoluut briljant”, vertelt Terwisch aan Financial Times. De antwoorden staan uitvoerig beschreven in zijn whitepaper.
Slecht in wiskunde
Het experiment legt evengoed de beperkingen die ChatGPT nog altijd heeft bloot. Zo sloeg de chatbot de bal helemaal mis in vragen waarbij rekenwerk aan te pas kwam. Volgens Terwisch zijn de wiskundige capaciteiten van de chatbot ondermaats en maakt de chatbot rekenfouten die ook in het middelbare onderwijs niet meer door de vingers worden gezien.
Desondanks toonde ChatGPT wel zichtbare progressie wanneer de professor hints gaf om het juiste antwoord te vinden. Terwisch toonde zich daarom vergevingsgezind voor de rekenfouten en gaf de chatbot een ‘B’ als eindresultaat. Omgezet naar de quoteringen die het Belgische onderwijs hanteert zou dat een resultaat van rond de tachtig procent betekenen. Een mooie onderscheiding waar iedere masterstudent onmiddellijk voor zou tekenen.
De antwooden die ChatGPT geeft, zijn absoluut briljant. Alleen wiskunde is dramatisch.
Christian Terwisch, professor Wharton Business School
Leren leven met AI
De intrede van ChatGPT bezorgt het onderwijs angstzweet, en dat is volgens de conclusie van professor Terwisch niet onterecht. Als het van hem afhangt, krijgen studenten geen toegang krijgen tot de chatbot tijdens het afleggen van examens of voor het schrijven van papers. Want hoewel ChatGPT niet feilloos is, biedt het studenten een onmiskenbaar hulpmiddel. Ook gelooft Terwisch dat als de chatbot nog slimmer zou worden, AI het moeilijker kan maken voor afgestudeerde studenten om een job te vinden op de arbeidsmarkt.
Toch moet het onderwijs ChatGPT niet helemaal vervloeken. In een tweede experiment liet de professor de chatbot de examenvragen bepalen. Met relatief beperkte input kon de chatbot vragen bedenken die, mits menselijke revisie, perfect mee in een examen kunnen. AI kan dus leerkrachten juist van dienst zijn in de voorbereiding van lessen en examens.
Hoe kijkt de academische wereld naar dergelijke experimenten? We spraken hierover met Jefrey Lijffijt, professor in Data Science aan de Universiteit Gent en academisch expert bij VAIA. Lijffijt beaamt dat het onderwijs en de hele maatschappij zal moeten leren leven met AI, maar wil benadrukken dat hier opportuniteiten inzitten voor de mensheid.
“Machines zijn gebouwd om anders te redeneren dan mensen. AI is bedoeld om taken te automatiseren die je moeilijk in regeltjes kan gieten. Het klopt wel dat generatieve AI zoals ChatGPT het dichtst in de buurt van menselijke intelligentie komt. Maar huidig onderzoek focust zich voornamelijk op de complementariteit tussen mens en machine, en niet het vervangen of overtreffen van menselijke intelligentie.”
AI is bedoeld om complementair te zijn met de mens, niet om ons te vervangen of te overtreffen.
Jefrey Lijffijt, professor Data Science Universiteit Gent
Uit de hemel gevallen
Toch heeft OpenAI ook wetenschappers met verstomming geslagen, zegt Lijffijt. “ChatGPT kwam echt uit de hemel gevallen. Bij andere doorbraken van OpenAI zoals Dall-E wisten we wel dat dit mogelijk was, maar in het geval van ChatGPT is de technologie verbazend snel geëvolueerd. Wat ik vooral indrukwekkend vind, is dat de tool niet eens gebouwd is op het meest state-of-the-art taalmodel. ChatGPT heeft er ook mee voor gezorgd dat generatieve AI niet meer een niche voor ‘nerds’ is, maar tastbaar voor het grote publiek. Ik vind het zelf een leuke tool om mee te spelen”, geeft Lijffijt zonder blozen toe.
Yann LeCun, AI-ingenieur bij Meta, is een andere mening aangedaan. In een recent interview met ZDnet zei LeCun dat ChatGPT wel indrukwekkend lijkt voor het grote publiek, maar eigenlijk helemaal niet zo bijzonder is. Het bedrijf waagde eind november zelf een poging met het AI-model Galactica, maar na hevige kritiek vanuit de wetenschap trok Meta al na drie dagen weer de stekker uit de technologie.
“Kijk, AI is en blijft op dit moment nog een imperfecte technologie die niet altijd werkt zoals je zou verwachten”, repliceert Lijffijt. “Ook latere edities van ChatGPT zullen beperkingen hebben. Er zijn wel wetenschappers die beweren dat artificiële intelligentie ooit menselijke intelligentie zal evenaren, maar dat lijkt mij nu nog niet realistisch. Op een bepaalde manier zou je wel kunnen zeggen dat AI al tot ‘bovenmenselijke prestaties’ in staat is door de enorme hoeveelheden data die de systemen kunnen verwerken.”
AI aan de ketting
Hoe AI veilig te gebruiken, zal de komende jaren een discussiepunt blijven. Lijffijt: “Nieuwe technologische ontwikkelingen zullen veel positieve zaken teweegbrengen, al mogen bedrijven die AI willen gebruiken ook niet blind zijn voor de risico’s. Voor mij is het belangrijk dat openheid behouden blijft, zodat onafhankelijke wetenschappers kunnen onderzoeken hoe de technologie in elkaar zit.”
lees ook
Microsoft en OpenAI breiden miljardensamenwerking verder uit
“Het debat gaat voor mij nu te veel over hoe we het gebruik van AI kunnen reguleren of beperken. In Europa moeten we in eerste plaats inzetten op de eigen ontwikkeling van betere technologie, om minder afhankelijk te zijn van systemen uit de Verenigde Staten en China. Reguleren kan alleen als we kunnen laten zien dat systemen die aan onze voorwaarden voldoen haalbaar zijn. Anders krijgen we straks een binaire keuze of AI wel of niet ingezet mag worden voor een bepaald doel, en niet meedoen is geen realistische optie”, klinkt het slotbetoog van professor Lijffijt.
Een AI-bot die studenten aftroeft op een universitair examen klinkt als een banaal experiment, maar het bewijst hoe snel technologische ontwikkeling gaat. We moeten er als mensheid over waken dat de technologie ons niet voorbij holt en we de trein missen.
ChatGPT kwam uit de hemel gevallen; de technologie is verbazend snel geëvolueerd. Maar het is nog steeds een imperfecte technologie met beperkingen.
Jefrey Lijffijt, professor Data Science Universiteit Gent