Een onderzoek van New York Times toont aan dat de AI Overviews-functie van Google foutieve informatie verspreidt. Google betwist de resultaten.
Sinds een goed jaar kan je niet meer om de AI Overviews in Google heen. De AI Overviews bundelen de populairste resultaten voor je zoekopdracht in een bondig overzicht. Zo krijg je een snel overzicht op je vraag, maar kan je die informatie wel vertrouwen? New York Times nam de proef op de som.
Toen Google AI Overviews lanceerde, leverde dat hilarisch slechte antwoorden op, van lijm doen op een pizza tot advies over hoeveel stenen je per dag moet eten. De AI-zoekresultaten zijn er sindsdien wel serieus op vooruitgegaan, maar het onderzoek stelt vast dat bij één op tien zoekopdrachten nog steeds foutieve informatie verspreid wordt.
Foute en ongegronde antwoorden
New York Times werkte voor het onderzoek samen met het AI-bedrijf Oumi. Voor het onderzoek werd een openbare benchmark SimpleQA gebruikt, ontwikkeld door OpenAI. De benchmark legt een AI-model meer dan 4.000 feitelijke vragen voor om de accuraatheid van de antwoorden te testen. De test werd tweemaal uitgevoerd, omdat AI Overviews na de eerste test een upgrade kreeg naar het Gemini 3-model.
Gemini 2 scoorde 85 procent op de test, Gemini 3 90 procent. Dat klinkt op het eerste zicht goed, maar het betekent ook dat ongeveer bij één op de tien zoekopdrachten Google je foutieve informatie kan tonen. Als je dit uitvergroot naar de frequentie waarmee mensen informatie zoeken met Google, gaat het over honderdduizenden fouten per minuut en miljoenen per uur, schrijft New York Times.
De onderzoekers zagen ook een probleem met de bronvermeldingen die AI Overviews toevoegen. De AI-antwoorden bevatten ofwel bronnen met tegenstrijdige informatie, of discutabele bronnen zoals Facebook- en Reddit-posts. Gemini 3 maakte ondanks accuratere antwoorden meer fouten in de bronvermelding. Dat maakt het moeilijk om de antwoorden te verifiëren.
Google betwist
Google trekt de betrouwbaarheid van het onderzoek in twijfel. In een reactie aan New York Times zegt het bedrijf dat de studie ‘niet representatief is’ voor wat mensen daadwerkelijk opzoeken met de zoekmachine. Volgens Google krijg je met AI Overviews juistere antwoorden dan wanneer je dezelfde vragen aan Gemini zou stellen, al heeft het bedrijf nooit ontkend dat de fouten mogelijk zijn.
Door de AI-modus bovenaan de zoekresultaten te zetten, heeft Google de manier waarop mensen informatie zoeken, veranderd. Mensen nemen de AI-gegeneerde antwoorden vaak voor waar aan, zonder de antwoorden te verifiëren. Dan is het wel een probleem als Google bijdraagt aan de verspreiding van foutieve informatie.