Consultancybureau KPMG maakt een pijnlijke uitschuiver. Een rapport dat de voordelen van AI moest aantonen, bleek vol met AI-hallucinaties te zitten.
KPMG heeft een rapport van zijn website gehaald nadat het vol fouten bleek te zitten. In het rapport, dat de ironische titel Redefining excellence in the age of agentic AI had, lichtte KMPG toe hoe enkele organisaties in Zwitserland en het Verenigd Koninkrijk AI inzetten. Enkele use cases bleken echter totale verzinsels te zijn, schrijft Financial Times op basis van onderzoek van GPTZero.
Zo werd in het rapport onder meer beweerd dat de Zwitserse bank UBS AI-agenten gebruikt voor investeerdersadvies, risicobeheer en compliancemonitoring, via een met Microsoft ontwikkeld platform. ‘Feitelijk onjuist’, zegt de bank tegen Financial Times. In het geval van het publieke gezondheidszorgstelsel van Manchester had het rapport een persbericht foutief geïnterpreteerd.
KPMG slaat mea culpa en zegt in een reactie dat het ‘de nauwkeurigheid en integriteit van zijn gepubliceerde inhoud serieus neemt’. “We verwachten van al onze medewerkers dat ze onze richtlijnen voor verantwoord gebruik van AI naleven, waaronder menselijk toezicht om inhoud te valideren en onafhankelijke bronnen te controleren”, voegt KPMG daar nog aan toe.
Tegen de lamp
Toch is KMPG niet de eerste grote consultancypartij die tegen de lamp loopt met onzorgvuldig gebruik van AI. Deloitte werd vorig jaar betrapt op verzonnen citaten en verwijzingen naar onbestaande bronnen in een rapport voor de Australische overheid, waar de overheid 290.000 dollar voor betaald had. De Canadese afdeling EY maakte vorige maand gelijkaardige fouten in een cybersecurityrapport.
Dat grote consultancyfirma’s dergelijke fouten maken, is verre van onschuldig, zegt onderzoeksgroep GPTZero die het rapport onder de loep nam. KMPG en Deloitte worden als geloofwaardige bronnen gezien. Het KPMG-rapport was bijvoorbeeld al opgepikt door een Tsjechische krant. Consultancybureaus beschouwen zichzelf als de geschikte partijen om bedrijven te begeleiden in verantwoorde AI-adoptie, dus mogen we verwachten dat ze in de eerste plaats streng voor zichzelf zijn.