Veel bedrijven ontwikkelen machine learning modellen met als uiteindelijk doel het creëren van bedrijfswaarde. Bijvoorbeeld, een financiële instelling wil bepalen of een transactie van een klant frauduleus is of een productfabrikant wil het machineonderhoud voorspellen om onverwachte productiestilstand te voorkomen. Echter, in de praktijk zijn er slechts een beperkt aantal bedrijven die machine learning modellen in productie nemen.
Véronique Van Vlasselaer, Joline Jammaers en Kaat Tastenhoye werken als decision scientist bij SAS België en Luxemburg. Ze helpen bedrijven bij het ontwikkelen, implementeren en beheren van machine learning modellen. Het ontbreken van modellen in productie verklaren ze doordat het management in organisaties weinig tot geen ervaring heeft met machine learning projecten. Daardoor ziet het management een cruciale vraag over het hoofd: welke stappen moeten we nemen voor een succesvol machine learning project?
Om bedrijfswaarde te creëren met machine learning zijn er vijf kritieke projectstappen:
- Projectstap 1: Uitvoeren van een bedrijfswaarde assessment
- Projectstap 2: Creëren van een analytische basistabel
- Projectstap 3: Ontwikkelen van het machine learning model
- Projectstap 4: Implementeren van het machine learning model
- Projectstap 5: Beheren van het machine learning model
Projectstap 1: Uitvoeren van een bedrijfswaarde assessment
Het is belangrijk om een machine learning project te starten met een bedrijfswaarde assessment. Joline legt uit: “Samen met de klant brainstormen we over alle cases die interessant zijn op basis van de pijnpunten die ze willen oplossen. We plotten de antwoorden in een grafiek die bestaat uit twee assen, opbrengsten en inspanningen. Het toont de klant direct het laaghangende fruit: hoge opbrengsten, lage inspanning.
Het is belangrijk om een machine learning project te starten met een bedrijfswaarde assessment.
Tevens geeft het ook aan waar je moet investeren om een hoger rendement te behalen. Daarnaast gebruiken we een machine learning canvas voor het definiëren van: de waardepropositie van de klant, de technieken en gegevens die we gebruiken, de features die we creëren, het rendement op de investeringen, en de risico’s van het project. Tijdens het machine learning project gebruiken we het canvas om te controleren of we nog op schema zitten.”
Projectstap 2: Creëren van een analytische basistabel
De analytische basistabel bouwt het verhaal van je product of klant op basis van data. Een fabrikant die wil voorspellen of de kwaliteit van een product goed of slecht is, heeft voldoende en nauwkeurige gegevens over het productieproces nodig. Bijvoorbeeld, welke grondstoffen zitten in het product? Welke sensormetingen zijn er beschikbaar tijdens het productieproces? Zijn de metingen correct? Hetzelfde geldt als je het gedrag van je klant wilt voorspellen, zoals: koopt de klant in een fysieke winkel of online, wat heeft de klant al bij je gekocht.
De decision scientist moet nauw samenwerken met de business om de analytische basistabel te bouwen. Kaat: “Uit ervaring weten we dat het tijd neemt om een analytische basistabel te maken. Wat zijn de processtappen? Welke gegevensbronnen zijn beschikbaar en is de datakwaliteit goed? Ontbreekt er data? Een decision scientist heeft namelijk de juiste historische gegevens nodig om het machine learning model te ontwikkelen.”
Projectstap 3: Ontwikkelen van het machine learning model
Het ontwikkelen van het machine learning model is Joline’s favoriete projectstap. “We hebben toegang tot een uitgebreide bibliotheek van modellen en ik test graag welk model het beste presteert. Het is van vitaal belang om te onderzoeken of er sprake is van een model bias door dataproblemen die nog niet zijn ontdekt zoals verkeerd geregistreerde gegevens.” Véronique voegt hieraan toe: “Het bouwen van een robuust machine learning model vereist uitgebreide en open communicatie tussen de teamleden.
Het bouwen van een robuust machine learning model vereist uitgebreide en open communicatie tussen de teamleden.
Welke gegevens gebruikt het model? Is de informatie juist? Wat voorspelt het model en zijn de uitkomsten juist? Samen met de klant maken we scores om bijvoorbeeld de kwaliteit van een product te bepalen of een banktransactie te checken op fraude. Aan de hand van deze scores voorspellen we de beslissingen van het model en toetsen we of deze statistisch en zakelijk correct zijn. Tenslotte moet het machine learning model voldoen aan de richtlijnen voor implementatie en monitoring.”
Projectstap 4: Implementeren van het machine learning model
Een machine learning model implementeren betekent dat je het ontwikkelde model in productie zet en gebruikt om beslissingen te nemen op basis van nieuwe gegevens. Deze beslissingen vinden plaats in batch of real-time. “Een decision scientist bouwt het beste model op basis van historische gegevens. Als dit model in productie is, ontvang je sensorwaarden over je proces of de gegevens van klanten.
Zo kun je direct beslissen: is de kwaliteit van dit product wel of niet goed, is deze banktransactie frauduleus of niet? Wanneer het machine learning model in productie is, moet je het monitoren en verbeteren. Een model dat vandaag goed werkt, voldoet bijvoorbeeld volgend jaar niet meer aan je behoeften als gevolg van bedrijfsveranderingen”, zegt Kaat.
Projectstap 5: Beheren van het machine learning model
Een machine learning model in productie heeft onderhoud nodig. Véronique: “Beheren van het machine learning model gaat over continue monitoring en verbetering. Zijn de beslissingen en de scores die uit het model komen correct of niet? Gelukkig is het mogelijk om de meeste monitoringsactiviteiten te automatiseren.
Beheren van het machine learning model gaat over continue monitoring en verbetering.
Bovendien heb je als decision scientist de beschikking over gegenereerde rapporten om te bepalen wat de oorzaak is van problemen: het model of de data? Als het om het model gaat, is het belangrijk te verifiëren of één van de challenger modellen die in de backend draaien beter presteert. Is dit het geval, dan verwissel je eenvoudigweg de modellen. Je haalt het huidige model uit productie en neemt het beter presterende challenger model in productie.”
Als het model niet goed presteert door een veranderende omgeving, is het mogelijk om het machine learning model opnieuw te trainen. Bijvoorbeeld, je ontdekt dat het nodig is om de beslissingen van het model te verfijnen door nieuwe bedrijfsinformatie die leidt tot veranderingen in de weging van de variabelen. Dit betekent dat je de variabelen in het model opnieuw gaat wegen. Een andere optie die helaas niet is geautomatiseerd, betreft het herontwikkelen van het machine learning model. Dat gebeurt als veranderingen in de huidige variabelen van het model niet leiden tot betere prestaties. De decision scientist gaat dan terug naar de business om extra databronnen te verzamelen voor het ontwikkelen van een goed presterend machine learning model.
Dit is een ingezonden bijdrage van SAS. Via deze link vind je meer informatie over de mogelijkheden van het bedrijf.