Artificiële Intelligentie (AI) was het afgelopen jaar meer dan ooit een hype. De meeste organisaties zijn ermee bezig of experimenteren op z’n minst met AI-modellen om hun business te ondersteunen. Eén belangrijke voorwaarde is voor elke toepassing essentieel: ‘trust’. Om de vruchten van een AI-model te plukken, moeten eindgebruikers vertrouwen hebben in de resultaten die het genereert.
Het vertrouwen in AI begint al bij de data die je gebruikt. In twee voorgaande artikels kon je lezen hoe je de grootste struikelblokken omzeilt om productief met data aan de slag te gaan, en hoe je dankzij de juiste architectuur (zoals een datacataloog) het vertrouwen in data stimuleert. Maar ook de modellen die we op de data loslaten, moeten vertrouwen opwekken.
De meeste modellen zijn een black box die resultaten produceert. Transparantie en interpreteerbaarheid van die resultaten zijn dan ook essentieel om te verzekeren dat mensen die zwarte doos gaan vertrouwen. Er bestaan verschillende, eenvoudige manieren om AI-modellen interpreteerbaar te maken:
Natural Language Explanation
Stel dat een model een grafiek produceert en je twee mensen naar de grafiek laat kijken. Dan is de kans groot dat ze de resultaten allebei anders interpreteren. Nochtans is er maar één interpretatie mogelijk. Elk model is immers gebaseerd op wiskunde en statistiek. Het is voor de meeste mensen gewoon erg moeilijk om statistische resultaten correct te lezen. Gelukkig bestaan er technieken die de achterliggende logica van statistiek begrijpelijk helpen maken.
Natural Language Explanation, een techniek die vergelijkbaar is met applicaties zoals ChatGPT, geeft die logica op een gebruiksvriendelijke manier en in natuurlijke taal weer. Onderzoek heeft aangetoond dat een begeleidende tekst resultaten behapbaar en duidelijker maakt voor eindgebruikers. Zodra ze de resultaten beter begrijpen, zullen ze automatisch ook meer vertrouwen in het model krijgen.
Counter Factual Explanation
Onderzoek toont aan dat het geven van tegenvoorbeelden er vaak voor zorgt dat mensen een bepaalde verklaring sneller begrijpen. Dezelfde techniek kunnen we ook op AI-modellen toepassen. Als een model in de bank een aanvraag tot lening weigert, dan zou je kunnen uitleggen waarom de persoon in kwestie geen lening krijgt. Maar je kunt ook omgekeerd werken en beschrijven wanneer de lening wel zou zijn toegekend. Bijvoorbeeld als de klant een hogere eigen inbreng zou hebben of de lening op een iets langere termijn zou afbetalen. Zeker nu AI in steeds meer domeinen opduikt, zijn technieken zoals Counter Factual Explanation nuttig om de context van beslissingen voor een breed publiek te verklaren.
Model Cards
Wat is de scope van een project? Wat zijn de objectieven? En wat zijn de risico’s? Om die informatie weer te geven, voorzien we AI-modellen van ‘model cards’. Het concept komt uit het risk-domein, waar zo’n model card zelfs verplicht is in het kader van compliance. Intussen is AI zo alomtegenwoordig dat SAS de techniek ook voor andere toepassingen beschikbaar maakt. Vooral nu de EU AI Act en andere reguleringen meer nadruk leggen op het belang van governance, zijn model cards eigenlijk een must.
Model cards zijn hoe dan ook interessant om AI-modellen met meer vertrouwen te gebruiken. Ze geven immers duidelijk weer waar het model voor dient. Een eenvoudig voorbeeld: als je een model hebt gebouwd dat afbeeldingen of foto’s produceert, dan mag je niet verwachten dat het ook cartoons gaat ontwerpen. Misschien lukt dat wel, maar daar is het model simpelweg niet voor gemaakt. Je ziet dus wanneer je een model mag vertrouwen en wanneer de resultaten wellicht minder betrouwbaar zijn.
Focus op security
Tot slot gaat vertrouwen in technologie altijd hand in hand met security. Bij analytics en AI denken we dan meteen aan de beveiliging van de data en infrastructuur, maar ook voor een model kan security belangrijk zijn. Recente studies tonen aan dat het in theorie niet onmogelijk is om de originele data waarop een model getraind is, te reconstrueren op basis van de gegevens die je erin steekt. Telkens je data invoert, zal het model een resultaat genereren. Als je dit met het juiste AI-model consequent blijft doen, dan zou dat model de basisdata in de zwarte doos moeten kunnen achterhalen.
Hoewel er nog geen gekende voorbeelden zijn van zulke malafide toepassingen, moeten we er natuurlijk wel rekening mee houden dat het mogelijk is. Voor een bank zou het bijvoorbeeld een drama zijn als de gegevens van klanten via een online AI-toepassing, ondanks alle veiligheidsmaatregelen, plots zomaar voor het grijpen liggen. We doen er dus goed aan om onze strategie met betrekking tot privacy en security ook door te trekken naar het niveau van de modellen die we bouwen. Bijvoorbeeld door te monitoren hoe vaak een model wordt aangeroepen.
Maak van trust een mindset
Van het wegnemen van bias tot technieken die het vertrouwen in AI vergroten: op het eerste gezicht lijkt het erop alsof deze processen de productiviteit en het gebruik van analytics in de organisatie alleen maar afremmen. In het begin zal dit misschien het geval zijn, maar op lange termijn zullen je processen steeds vlotter verlopen. De levenscyclus van een model gaat immers verder dan de ontwikkeling.
Als je het governance-luik goed opzet en trust standaard opneemt in je strategie voor het ontwikkelen en opvolgen van modellen, dan hoef je hier in een latere fase minder werk in te steken en ga je dus op een efficiëntere manier met AI aan de slag kunnen gaan. Niet alleen zullen eindgebruikers de beslissingen van je model sneller vertrouwen, je organisatie is ook beter voorbereid op scenario’s waarin het eventueel toch eens mis gaat.
Conclusie? Nu AI in alle aspecten van de samenleving doorbreekt, moeten we het vertrouwen in de technologie meer dan ooit stimuleren. Veel technieken die tot voor kort vooral in de financiële wereld belangrijk waren, zijn vandaag ook voor andere toepassingen een must. Daarom zitten alle functionaliteiten in het kader van trust en governance standaard in het softwarepakket van SAS. Zodat organisaties optimaal en zorgeloos profiteren van de eindeloze voordelen die AI te bieden heeft.
Dit artikel is een ingezonden bijdrage van SAS. Het is het derde stuk in een reeks rond productief werken met analytics en werd geschreven door Véronique Van Vlasselaer(Analytics & AI Lead SWEE, SAS) & Mathias Coopmans (EMEA Technology Futures Lead Architecture & Cloud, SAS). De andere delen van de driedelige reeks vind je hier.