De Amerikaanse verzekeringsmaatschappij Suncorp heeft IBM Watson een half jaar stilletjes mee laten draaien met zijn consultants. De prestaties van de AI blijken accurater dan menselijke voorspellingen of iemands aansprakelijkheid bij het uitkeren van declaratieverzoeken.
Vijf jaar geleden begon Suncorp Group met een project om het beoordelen van declaratieverzoeken te automatiseren. Verzekerden konden via een digitaal applicatieformulier online hun claims en verzoeken indienen.
Klanten namen het formulier graag in gebruik, maar de Digital Service Manager van Suncorp, Vlad Vereshchagin gaf aan dat consultants klanten alsnog moesten bellen, voornamelijk om aansprakelijkheid vast te stellen.
“Die taak kon alleen uitgevoerd worden door mensen, onze consultants. Ten eerste was er de behoefte om de omstandigheden van het verzoek, de gebeurtenis of het ongeval te begrijpen, en hoe het zich precies voltrokken heeft; de twee reden is dat de uitspraak over de aansprakelijkheid juridisch bindend is, met financiële gevolgen. Het is onomkeerbaar, dus we kunnen fouten niet herstellen.” legt hij uit aan ZDNet.
Kwaliteitsoordeel van 96%
“Dat blokkeerde onze automatiseringspoging en we konden daardoor geen verdere voortgang maken”
Suncorp identificeerde ongeveer 30 soorten botsingen die een voertuig kan maken, en voerde per jaar ook bijna een half miljoen verzoeken met de uitslag van assessments over motordeclaratieverzoeken in.
“We dachten dat als we hier een half miljoen declaratieverzoeken hebben, die duidelijk en makkelijk te begrijpen zijn, en slechts dertig scenario’s, dat we dan een methode konden bedenken die deze data samenvoegt en daadwerkelijk een soort geautomatiseerd systeem konden maken.” legt Vereshchagin uit.
“Toen we net waren begonnen, was het kwaliteitsoordeel ongeveer 60%. Vandaag zitten we aan 96%.”
Suncorp kondigde in November 2017 al aan dat ze IBM Watson in wilden zetten om het declaratieproces te automatiseren, met behulp van de Natural Language Classifier die is ingebouwd. Suncorp heeft voornamelijk ingezet op het classificeren van de omstandigheden en het bepalen van de aansprakelijkheid. Vereshchagrin: ”Het was simpel gezegd een kwestie van ‘schuldig’ of ‘ niet schuldig’ voor elke gebeurtenis en dat is in principe hoe we de zaken lieten classificeren.”
“Toen we net waren begonnen, was het kwaliteitsoordeel ongeveer 60%. Dat was te laag, maar het eindresultaat is inmiddels 96% correct voor onze beoordelingen. Die resultaten hebben we binnen een aantal jaren kunnen verbeteren, voornamelijk met hulp van onze trainingsets, gebaseerd op echte claims en hun resultaten. Zoals ze zeggen: bullshit in, bullshit out.”
Schaduwmodus
De organisatie wilde graag een stap verder gaan, maar leidinggevenden aan de top waren bezorgd dat het te riskant was om machines menselijke beslissingen te laten nemen. Verzoeken om het systeem websitebreed in te zetten werden afgewezen, aldus Vereshchagrin.
In plaats daarvan, besloot Vereshchagrin te bewijzen dat het systeem even goed of beter dan mensen inschattingen en beslissingen kon maken over aansprakelijkheid en de situatie.
“We hebben Watson in schaduwmodus gezet en het programma draaide op de achtergrond in de backend van de schadeclaimformulieren.” vertelt Vereshchagrin, waarbij hij opmerkt dat de consulenten hiervan niet op de hoogte waren.
We hebben Watson in schaduwmodus gezet. De consulenten waren van niets op de hoogte.
“Na zes maanden konden we de resultaten van Watson vergelijken met die van onze consultants, en verrassend genoeg (of niet) werd er aangetoond dat mensen ook fouten maken, en in feite zelfs vaker dan dat onze AI dat deed.” Volgens Vereshchagrin was de machine ook meer gedisciplineerd in het beoordelen van de verzoeken.
Het experiment was een succes, en momenteel wordt de helft van alle verzoeken zonder medewerkers beoordeeld. Suncorp speelt met het idee om een gelijksoortig proces in te voeren voor inboedelverzekeringen, waarbij Vereshchagrin opmerkt dat het daarvoor niet perse gebruik hoeft te maken van IBM’s Watson. Het idee is voorlopig om de verschillende stappen in het process, zoals bijvoorbeeld het bezoek van een consultant bij mensen thuis, te automatiseren.
Gerelateerd: IBM Watson Health trekt stekker uit Drugs Discovery-service