De grote taalmodellen van vandaag zijn geëvolueerd tot statistische papegaaien die zeer betrouwbaar klinken, maar zijn ze dat ook?
“De menselijke en tastbare aanpak waarmee Large Language Models (LLM’s) vandaag antwoorden formuleren op onze vragen, doet ons het vertrouwen in klassieke modellen afnemen”, begint Matthijs van den Langenberg, AI Adoption Lead Benelux bij Lenovo, tijdens een rondetafelgesprek georganiseerd door ITdaily.
“AI-modellen zijn eigenlijk geavanceerde data-analyses die de gestructureerde data in natuurlijke taal kunnen omzetten”, vertelt Véronique Van Vlasselaer, Head of AI & Data Science bij SAS EMEA, die het vergelijkt met statistische papegaaien.
Rond de tafel zitten nog drie andere experts: Wilco Zwerus, Client Solutions Sales Director bij Dell Technologies, Joris Dresselaers, Business Area Director bij Visma en Gianni Cooreman, Senior Director Solution Engineering voor Salesforce Benelux. Waar komt het (soms onterecht) vertrouwen in AI-modellen vandaan, en hoe gaan bedrijven hiermee om?
Statistische papegaaien
“De LLM’s van vandaag zijn eigenlijk heel geavanceerde systemen voor data-analyse”, vertelt Van Vlasselaer. “Zoiets bestaat al veel langer dan vandaag. De afgelopen decennia hadden oplossingen vooral betrekking op analyse op basis van gestructureerde data, vandaag heeft de technologie het mogelijk gemaakt om ongestructureerde gegevens zoals teksten te analyseren.”
LLM’s zijn statistische papegaaien.
Véronique Van Vlasselaer, Head of AI & Data Science bij SAS EMEA
LLM’s worden om die reden ook wel eens statistische papegaaien genoemd, merkt ze op. Dat maakt de modellen volgens van den Langenberg toegankelijk voor iedereen, maar dat heeft ook een keerzijde.
Deterministisch versus probabilistisch
Volgens Van Vlasselaer schuilt er een opvallende paradox in hoe mensen omgaan met AI. “Klassieke, deterministische modellen werken op basis van duidelijke logica en geven altijd hetzelfde reproduceerbare antwoord, maar stuiten vaak op wantrouwen: een systeem dat aangeeft dat iets mogelijk frauduleus is, moet zijn redenering meteen kunnen verantwoorden.”
“LLM’s daarentegen, ofwel probabilistische modellen, wekken veel meer vertrouwen, net omdat ze antwoorden in natuurlijke taal formuleren en daardoor aanvoelen als een vertrouwde gesprekspartner.”
Die discrepantie vindt ze frappant: “Mensen vertrouwen de probabilistische, en dus inherent onzekere, modellen meer dan de deterministische systemen die juist ontworpen zijn om betrouwbaar en controleerbaar te zijn.”
Menselijkheid wint
Iedereen rond de tafel sluit zich aan bij deze paradox. “AI-modellen praten met gevoel”, merkt Cooreman op. “Ze kunnen vol van vertrouwen leugens verkondigen, maar als je de uitkomst niet dubbelcheckt, trap je er met beide voeten in.” Bovendien lijkt het vertrouwen voornamelijk van toepassing te zijn op de ChatGPT’s van vandaag. Van Vlasselaer: “Er is 200 procent meer vertrouwen in generatieve AI dan traditionele AI.”
Ook van den Langenberg erkent dat het niet technisch maken van technische tools toegankelijker is voor het publiek. “De meeste mensen begrijpen de zeer technische tools niet, waardoor ze er minder op vertrouwen.”
Dresselaers vult aan: “Er schuilt een gevaar in het blindelings vertrouwen op AI. Hij duidt dit met een voorbeeld uit de boekhoudwereld. Als een accountant een belastingaangifte indient op basis van antwoorden van AI, die mogelijk onjuiste informatie bevat, kan dat verregaande gevolgen hebben.” Kortom, zonder kritische blik kom je er vaak bedrogen uit, met alle gevolgen van dien.
Data als fundering
Naast vertrouwen in het AI-model zelf, is er nog een belangrijke stap die bedrijven (soms onbewust) overslaan: het vertrouwen in de data zelf. “Vaak zit er heel veel oude data in modellen die totaal niet relevant meer zijn”, vertelt Zwerus. Ook van den Langenberg bevestigt: “Veel bedrijven kampen met data die gewoon niet goed zijn ingericht. Dan zijn het geen data lakes meer, maar datamoerassen.”
Bedrijven zitten niet met datalakes, maar datamoerassen.
Matthijs van den Langenberg, AI Adoption Lead Benelux bij Lenovo
Vangrails
Bovendien merken de deelnemers een tekort aan duidelijke AI-kaders op. “Governance is één van de moeilijkste factoren bij de implementatie van AI”, stelt van den Langenberg. Volgens hem hebben heel wat bedrijven nog geen intern kader op punt staan. Hij vergelijkt het met de rijvakken op een snelweg. Je kan wisselen van rijbaan, maar als er geen vangrails staan, vlieg je uit de bocht.
Niet alleen het kader voor het intern gebruik van AI door werknemers is belangrijk, maar ook het kader waarin de zogenaamde AI-agenten moeten opereren. “AI-agenten nemen het stuur volledig over om tot de bestemming te geraken”, vult Dresselaers aan.
Een AI-agent wordt pas echt goed door de regels die je hem geeft.
Matthijs van den Langenberg, AI Adoption Lead Benelux bij Lenovo
“Een AI-agent wordt pas echt goed door de regels die je hem geeft”, merkt van den Langenberg op. “We hebben intern bijvoorbeeld een legal agent die enkel kijkt naar bepaalde documenten of richtlijnen, en dus goed omkaderd is. Net omdat hij dingen niet kan en mag, is hij beter in wat hij wel kan.”
AI die AI controleert
Van Vlasselaer wijst tot slot op een fenomeen dat steeds vaker opduikt: LLM as a judge, ofwel het gebruik van een AI-model om de output van een ander AI-model te beoordelen. “Maar wie judged er de judge dan?”, stelt Dresselaers zich de retorische vraag.
De experts zijn het erover eens: het gebruik van AI vraagt om een kritische, menselijke blik. Bovendien is het belangrijk om te starten bij het begin: zijn mijn data op orde? Stel daarna een duidelijk kader op, zodat iedereen netjes binnen de vangrails van dezelfde snelweg blijft rijden. Controleer tot slot altijd de output. Een statistische papegaai kan overtuigend klinken, maar dat maakt hem nog niet betrouwbaar.