Uit academisch onderzoek blijkt dat ChatGPT ontwikkelaars kan helpen om fouten in hun code op te sporen. De kwaliteit van AI-gegeneerde code blijft wel een discussiepunt.
Softwareontwikkelaars maken graag gebruik van hulpmiddelen zoals Github CoPilot, Codex en ook ChatGPT voor het schrijven en controleren van hun codes. Maar hoe betrouwbaar zijn AI-gegeneerde suggesties bij softwareontwikkeling? Onderzoekers van de universiteiten van Londen en Mainz namen de proef op de som en lieten ChatGPT met veertig foutieve codes aan de slag.
De populaire chatbot van OpenAI bracht het er met negentien opgeloste fouten vrij goed vanaf. ChatGPT haalde bijna dezelfde score als Codex in gelijkaardige experimenten. Codex is afkomstig van hetzelfde moederbedrijf en ook gebouwd op hetzelfde taalmodel, maar is wel specifiek geprogrammeerd om codes te genereren waar de capaciteiten van ChatGPT gericht zijn op natuurlijke interactie.
lees ook
ChatGPT haalt onderscheiding aan Amerikaanse universiteit: is dat problematisch?
Bovendien heeft ChatGPT een extra voordeel ten opzichte van andere tools. De onderzoekers ontdekten hoe de communicatieve vaardigheden van de chatbot een verschil kunnen maken bij het bekomen van de juiste oplossing. ChatGPT kan zelf meer informatie vragen over het probleem en vindt de chatbot niet onmiddellijk de juiste oplossing, kan je het met hints in de juiste richting stuwen. Door te interageren met de bot, kwamen de onderzoekers uiteindelijk tot 31 juiste oplossingen.
AI is hulp, maar geen wondermiddel
De studie concludeert dat ChatGPT en consoorten een handig hulpmiddel kunnen zijn bij het oplossen van fouten in codes. Bij softwareontwikkeling is het van belang om fouten zo vroeg mogelijk in het proces op te sporen. Moeten nu alle softwareontwikkelaars aan de slag met ChatGPT? Dat is voer voor discussie in de academische wereld.
De Stanford University is een recente studie minder lovend over AI-gegeneerde code. In een experiment leverden softwareontwikkelaars die de hulp krijgen van artificiële intelligentie over het algemeen minder performante en onveiligere codes dan collega’s die alles zelf moesten doen. Finaal moet er dus nog altijd een menselijke controle aan te pas komen.
Ook is het gebruik van ChatGPT voor het ontwikkelen van code niet zonder risico’s voor bedrijven. Amazon heeft softwareontwikkelaars op de vingers getikt omdat ze geheime interne code zouden hebben laten nakijken door ChatGPT. De bedrijfsleiding vreest dat de chatbot die code kan hergebruiken om de problemen van andere gebruikers op te lossen.