Eerder deze maand verscheen hier een artikel over de lancering van SAS ModelOps. Waarom ik daar nog eens op terugkom? Omdat deze technologie voor vele bedrijven het verschil kan maken tussen een geslaagde test in labo-omgeving en een productief model dat dagelijks bijdraagt tot een betere bedrijfsvoering. Een waardevol instrument dat een geregelde revisie waard is. Data is geen doel op zich, maar slechts een middel om tot betere inzichten en beslissingen te komen.
Vele bedrijven hebben intussen al kennis gemaakt met de voordelen van analytics en machine learning modellen. In theorie althans, want daarna loopt het vaak fout. Maar liefst de helft van deze modellen wordt nooit in productie genomen, ook al leverden ze in de tests in een lab-omgeving interessante inzichten en nuttige informatie op.
De modellen die wel in productie gaan, doen daar vaak vele maanden over, zodat ze meteen aan herziening toe zijn. Zelfs Netflix, toch wel een referentie inzake het benutten van data, heeft ooit een miljoen geïnvesteerd in een model dat uiteindelijk nooit werd gebruikt. Van gemiste kansen gesproken.
Analytische modellen
Om nog te zwijgen van de gemiste meerwaarde. Volgens McKinsey wordt er jaarlijks tussen 9,5 biljoen en 15,4 biljoen dollar aan waarde gecreëerd door het gebruik van analytics en AI. Theoretisch gesproken verliezen we, aangezien slechts de helft van de modellen tot in productie geraken, een even groot bedrag aan meerwaarde door een gebrekkig proces dat deze modellen niet systematisch tot in productie krijgt.
Elk analytisch model moet voortdurend worden opgevolgd en zo nodig bijgestuurd.
Precies dat probleem willen we met SAS ModelOps aanpakken. Tegelijk biedt dit een oplossing voor een ander probleem: elk analytisch model moet voortdurend worden opgevolgd en zo nodig bijgestuurd. Wie er niet in slaagt om dit systematisch aan te pakken, zal het rendement van hun investering razendsnel zien afnemen. Je kan analytische modellen dus gerust vergelijken met auto’s: als je er topprestaties van verwacht, moet je er voortdurend aan blijven sleutelen.
ModelOps doet voor analytische modellen wat DevOps doet voor de ontwikkelcycli: door een sterkere integratie van het gehele proces wordt de stap van ontwikkeling naar productie en – via monitoring en evaluatie – terug veel sneller gezet. Hoe die cyclus er precies uitziet, zie je in het schema hierboven.
Continu evalueren
Maar voor je in die heilzame cyclus terechtkomt, moet je wel eerst goed vastleggen wat je precies met jouw model(len) wil bereiken. Dat blijft uiteindelijk nog steeds de lakmoesproef: als je bijvoorbeeld met jouw model het aantal abonnementen wil verhogen, moet je geregeld blijven controleren of dit uiteindelijke doel nog steeds wordt bereikt, los van de efficiëntie van het model en de kwaliteit van de data.
Als een model draait zoals het hoort, is het dus ook zaak om dit model geregeld te evalueren op verschillende vlakken. Zijn de data nog toereikend? Vonden onvoorziene wijzigingen plaats in de data? Zijn er veranderde omstandigheden waardoor het model mogelijk minder accurate resultaten kan opleveren?
Als een model draait zoals het hoort, is het dus ook zaak om dit model geregeld te evalueren op verschillende vlakken.
Terwijl je elk model afzonderlijk geregeld onder de loep houdt, doe je er ook goed aan om ook dat hele proces van modellen bouwen, in productie zetten, evalueren, verfijnen enzovoort grondig te testen op efficiëntie en doelgerichtheid. Bereikt je de schaal, precisie en procesdiscipline met jouw ModelOps-aanpak? Zo niet moet je misschien de hele procedure met experts overlopen.
Geen perfect model
Modellen en het ModelOps-proces zijn geen statische objecten maar levende materie. Ze kunnen verouderen, van de bestaande realiteit weg groeien, en daardoor op termijn achterhaald en zelfs onbetrouwbaar worden. Het is de verantwoordelijkheid van elke organisatie om dit geregeld kritisch te bestuderen.
Hoe geregeld, vraagt je? Dat hangt af van hoe kritiek de analyse in kwestie is voor jouw bedrijf. Als de precisie van de opgeleverde resultaten cruciaal is voor uw organisatie, dan zal je bijna voortdurend over de schouder moeten meekijken. Als er iets meer speling op zit, kan die evaluatie minder frequent worden ingepland.
Vroeg of laat zal het aanvankelijk o zo perfecte model aan aanpassingen toe zijn.
Maar één feit staat vast: vroeg of laat zal het aanvankelijk o zo perfecte model aan aanpassingen toe zijn. Met ModelOps heb je een sterk instrument in handen om de opvolging te garanderen en de productie van modellen te versnellen. Zorg er dus voor dat je zowel jouw modellen als dit krachtig werkinstrument zelf geregeld een degelijke onderhoudsbeurt gunt. Anders zal het concurrentieel voordeel dat je met jouw analytics ooit hebt verworven, snel terug verloren gaan.
Dit is een ingezonden bijdrage van Véronique Van Vlasselaer, Customer Advisor Decision Science bij SAS. Via deze link vind je meer informatie over de mogelijkheden van het bedrijf.