Traditionele RAG heeft het lastig met ongestructureerde data. Na uitbreiding met AI-agents kan de technologie meer genuanceerde, accurate en context-bewuste antwoorden leveren.
Het is alweer drie jaar geleden sinds de eerste release van ChatGPT. Die vroege Large Language Models (LLM’s) waren meteen populair, maar allesbehalve nauwkeurig. De komst van Retrieval-Augmented Generation (RAG) zorgde voor een aanzienlijke verbetering van GenAI-resultaten met de toevoeging van relevante data uit geverifieerde bronnen die eigendom zijn van de organisatie.
RAG integreert niet alleen gestructureerde gegevens uit spreadsheets en gerelateerde databases, maar ook ongestructureerde data uit e-mails, pdf’s, chats, social media, etc. Het indexeert deze informatie en gebruikt semantische zoekinstrumenten om op te halen wat nodig is voor een vraag. Je kunt het vergelijken met een toets begrijpend lezen op school: je kan de informatie kort ervoor ophalen en bekijken, en nadien worden er vragen over gesteld.
Toch is RAG niet perfect. De technologie kan het formaat van bepaalde types ongestructureerde informatie, zoals tabellen en grafieken, verkeerd interpreteren en foutieve antwoorden produceren. Of antwoorden geven die te algemeen, te gedetailleerd of onvolledig zijn.
De limieten van RAG
Waarom RAG ongestructureerde informatie soms verkeerd interpreteert? Daar zijn verschillende redenen voor. Zo kunnen methoden om documenten op te splitsen (chunking) samenhangende input scheiden, waardoor context verloren gaat. Als een tabel bijvoorbeeld wordt gescheiden van de begeleidende tekst, kan informatie plots minder bruikbaar zijn. Ook met grafieken of gescande documenten heeft RAG het soms moeilijk. Of de hiërarchische structuur van een uitgebreid document gaat verloren.
Semantische zoekopdrachten vinden vaak vergelijkbare concepten, maar falen soms als de vraag dubbelzinnig is of een antwoord in meerdere documenten moet worden gezocht. Onvolledige of tegenstrijdige opgehaalde data kan dan weer tot inconsistente antwoorden leiden of hallucinaties van AI-modellen veroorzaken. Tot slot behandelt RAG datatransformatie vaak als een eenmalige taak en niet als een onafgebroken proces.
Incrementeel en iteratief verbeteren
In de praktijk schieten traditionele RAG-implementaties meestal tekort door de complexiteit van de data uit de echte wereld. In plaats van te blijven bouwen aan steeds grotere modellen, leggen we daarom beter de nadruk op de uniforme datafundamenten die nodig zijn om modellen effectief bruikbaar te maken. Dit wil niet zeggen dat we RAG volledig opgeven. Wel worden er geavanceerde technieken ontwikkeld die beter met ongestructureerde data kunnen omgaan, zoals:
- Het verrijken van de metadata van documenten door contextuele labels toe te voegen of reeds vragen en antwoorden te distilleren uit elk document
- Het gebruiken van Ensemble Retrievers die tegelijkertijd semantisch zoeken, op trefwoorden zoeken en filtering uit meerdere bronnen combineren voor de meest relevante resultaten;
- Het gebruik van Knowledge Graphs om complexe relaties tussen bedrijfsdata vast te leggen en meerlaagse vragen feitelijk te beantwoorden;
- En tot slot slimmere extractietechnieken die de hiërarchische structuur van een complex document bewaren, die complexe tabellen en diagrammen indexeren met behoud van alle informatie en complexiteit.
We moeten leren hoe we LLM’s het best kunnen inzetten in de cruciale fasen van de RAG-pipeline en hoe we metadata kunnen optimaliseren met het oog op betere prestaties – zowel onmiddellijk als op langere termijn.
Itereren is de sleutel om de relevantie en nauwkeurigheid van antwoorden te verbeteren, niet alleen door het toepassen van de meest recente technieken, maar ook door continu data te cureren, te transformeren en aan te passen om te garanderen dat AI-modellen data van de hoogste kwaliteit blijven.
Van inzichten naar realtime acties
De nieuwe benadering van RAG gebruikt AI-gestuurde agents om het informatie-ophaalproces naar een hoger niveau te brengen. Agents leren snel om gebruikersvragen naar de meest geschikte databronnen te leiden. Ze analyseren en verfijnen vragen om de nauwkeurigheid en relevantie van de antwoorden te verbeteren. En ze genereren gedetailleerde actieplannen die ze binnen een concrete bedrijfscontext uitvoeren.
Domeinspecifieke AI-agents bieden flexibiliteit en functioneren binnen tal van toepassingen en interne teams (sales, marketing, finance en meer). Ze kunnen leren, zich aanpassen, verfijnen en verbeteren de relevantie van output in de loop van de tijd. Omdat ze gemakkelijk schaalbaar zijn, zijn ze geschikt voor grote bedrijfstoepassingen. Hun multimodale aard betekent dat ze content kunnen interpreteren en creëren in diverse modaliteiten – tekst, afbeeldingen, audio en video.
De mogelijkheden lijken eindeloos. Van het efficiënt en in realtime beantwoorden van vragen via chatbots tot het automatiseren van klantenservice (e.g. afspraken plannen, vaak voorkomende problemen oplossen, etc.). En van het automatiseren van retrieval- en integratieprocessen tot het vergroten van het vertrouwen in voorspellingen en analyses. Autonome agents zorgen ervoor dat we snel kunnen handelen op basis van onze data. Als we deze agents bovenop LLM’s en RAG bouwen, kan elk inzicht onmiddellijk tot de juiste acties leiden.
De systemen creëren een laag met intelligente context, waardoor data, bedrijfslogica en klantdata eindelijk dezelfde taal spreken. Die uniforme interpretatie stelt agents in staat volledig gebruik te maken van alle enterprise-data die tot hiertoe in dashboards gevangen zat. Het resultaat? Minder gemiste kansen, omdat elke interactie wordt aangedreven door intelligente context, precies op het moment dat het ertoe doet.
Dit is een ingezonden bijdrage van Gianni Cooreman, Senior Director Solution Engineering van Salesforce Belux. Hier vind je meer informatie over de oplossingen van het bedrijf.