Het gebruik van AI-codeerassistenten zou het werk van ervaren softwareontwikkelaars vertragen met zo’n negentien procent, volgens een studie van METR.
Kunstmatige intelligentie wordt vaak gezien als een tool om taken te versnellen. Toch blijkt dit voor softwareontwikkelaars niet het geval te zijn. Volgens een studie van de Amerikaanse organisatie Model Evaluation & Threat Research (METR) werken softwareontwikkelaars negentien procent trager met AI, dan zonder.
Een andere studie van Uplevel toonde gelijkaardige resultaten, namelijk dat AI-codeerassistenten niet zorgden voor een verhoogde productiviteit, maar wel voor 41 procent meer bugs in de code.
Langzamer met AI
Het onderzoek werd uitgevoerd bij zestien ervaren ontwikkelaars uit grote open-source repositories waar ze meerdere jaren aan hebben bijgedragen. “Verrassend genoeg zien we dat wanneer de ontwikkelaars AI-tools gebruiken, ze er 19 procent langer over doen dan zonder: AI maakt ze langzamer”, aldus een onderzoeker van METR. “Dit is een aanzienlijke vertraging die indruist tegen de overtuigingen van ontwikkelaars en de voorspellingen van experts.”
Een andere opvallende bevinding uit het onderzoek is de kloof tussen perceptie en realiteit. De ontwikkelaars verwachtten namelijk dat AI hen met 24 procent zou versnellen. Zelfs wanneer ze vertraging hadden ervaren, geloofden ze nog steeds dat AI hen met twintig procent had versneld.
Bepalende factoren
Volgens het onderzoek kan de vertraging aan diverse factoren toegewezen worden. Zo bestaat er een “overdreven optimisme over het nut van AI”, waardoor ontwikkelaars onrealistische verwachtingen hadden. Verder waren de deelnemers zo ervaren dat AI-hulp hen mogelijk niets te bieden had. Een andere mogelijke factor heeft te maken met de lage AI-betrouwbaarheid. De ontwikkelaars accepteerden minder dan 44 procent van de gegenereerde suggesties, maar besteedden wel veel tijd aan het opruimen en beoordelen ervan.
lees ook
Slimmer coderen met de Codex AI-agent in ChatGPT
“De vertraging die we waarnemen, betekent niet dat de huidige AI-tools de productiviteit van ontwikkelaars niet vaak verbeteren – we vinden bewijs dat de hoge bekendheid van ontwikkelaars met repositories en de omvang en volwassenheid van de repositories beide bijdragen aan de waargenomen vertraging, en deze factoren zijn niet van toepassing in veel softwareontwikkelingsomgevingen”, besluiten de onderzoekers.