5 vragen om te stellen voor de start van een AI-project

  • .software
  • 8 min

De hype rond artificial intelligence (AI) valt niet te ontkennen, maar is dit wel helemaal terecht? Elk AI-project kan je het best aanvatten met de nodige realiteitszin. Een nuchtere analyse op voorhand blijft noodzakelijk voor een betere inschatting van de ROI, de risico’s en de afhankelijkheden. Dit zijn vijf kernvragen die we ons bij de start van een AI-project stellen.

1. Hoe zou je het probleem oplossen zonder AI?

Is er wel een goede use case en vereist die echt wel een AI-systeem? Te vaak wordt AI voorgesteld als dé mirakeloplossing voor alle problemen. In het echte leven zijn AI-systemen moeilijk om goed geconfigureerd te krijgen, vragen ze constante opvolging en monitoring, en vergen ze veel werkuren door specialisten. AI-projecten zijn alleen al daardoor erg duur. Ga daarom eerst grondig na: Wat is het probleem dat we willen oplossen? Is dat helder gedefinieerd en goed afgelijnd? Wat is de situatie vandaag en waar willen we naartoe? Weegt de geschatte ROI van een AI-oplossing wel op tegen die van een traditionele IT-aanpak of zelfs manueel werk?

2. Zijn de succescriteria (KPI’s) goed gekozen, gedefinieerd en meetbaar?

Eén enkel AI-systeem lost veelal een klein, welomschreven probleem op. Allerlei criteria zijn voorhanden om te meten of dat ook voldoende goed gebeurt, zoals precisie en recall, de tijdspanne nodig voor de berekening, de reductie in manueel werk… Welke criteria je ook hanteert als KPI’s, dankzij een goede meetbaarheid en opvolgbaarheid kunnen de resultaten eenvoudiger gemonitord en gekwantificeerd worden. Juist meten is echter niet noodzakelijk gemakkelijk. Welke accuraatheid verwacht je van het AI-systeem? Wat is “juist” en wat is “fout”? Als kanttekening voegen we toe dat mensen net zo goed fouten maken als zij dezelfde taak manueel uitvoeren. Is er al eens gemeten hoe vaak dat gebeurt en wat de gevolgen daarvan zijn? Vanaf wanneer zou het AI-systeem ook werkelijk tot verbetering leiden in de praktijk?

3. Welke praktische beperkingen zijn er?

Talent is schaars, zeker als iemand naast AI en data science ook nog eens vertrouwd moet zijn met projectmanagement en de praktische aspecten van softwareontwikkeling. Zelfs met wat geluk op HR-vlak, is er nog steeds het kostenplaatje om rekening mee te houden. Elk bedrijf dat niet dezelfde cashpositie heeft als pakweg Amazon of Google, past het best zijn verwachtingen inzake AI wat naar verhouding aan. Technologische infrastructuur is bovendien nog steeds niet gratis. De trial-en-error methodiek die vaak de ontwikkeling van AI-systemen kenmerkt, vergt een zekere financiële ademruimte – zeker bij toepassingen waarbij 1 iteratie van 1 trainingsproces al tot een aardige energiefactuur leidt.

Daarnaast zijn er ook ethische en wettelijke beperkingen, bijvoorbeeld voor het gebruik van gevoelige gegevens. De software aan de basis van een AI-systeem heeft vaak veel onderdelen die van derde partijen afkomstig zijn of gebruikmaken van open source componenten of een (public) cloud. Dit brengt niet alleen risico’s met zich mee voor de stabiliteit, onderhoudbaarheid, ondersteuning op langere termijn en software-licenties, maar ook voor de confidentialiteit van de gegevens.

4. Zijn er genoeg middelen voor uitrol, monitoring en onderhoud?

Een AI-systeem bouwen is één ding, het in productie zetten is nog iets anders. Er moeten heel wat euvels overwonnen worden voordat een stuk code – dat ontwikkeld werd op enkele laptops – uiteindelijk klaar is om 24/7 blootgesteld te worden aan de buitenwereld. De extra overhead door Continuous Integration-Continuous Delivery (CI/CD), back-ups, testing, code review en dergelijke, is onmisbaar voor de langere termijn, maar kost allemaal tijd en geld. In tegenstelling tot klassieke softwareprojecten kan je een AI-project na oplevering niet zomaar parkeren in een minimalistische onderhoudsmodus. Integendeel: bij de oplevering start er een fase van actieve monitoring die eindeloos kan duren. Blijft de software wel doen wat ervan verwacht wordt in de buitenwereld? Zeker als nieuwe data wijzigt van karakter, is actieve bijsturing vaak nodig.

AI project lifecycle (bron).

5. Hoe transparant is het allemaal?

De GDPR legt beperkingen op aan systemen die automatisch beslissingen nemen: er moet altijd de mogelijkheid zijn om de beslissing te laten (her)bekijken door een mens (zie art. 22). In het gehele AI-beleid dat de EU hoopt te voeren, is transparantie een sleutelwoord waarmee de EU probeert zich te onderscheiden van andere grootmachten. Het kunnen uitleggen waarom een AI-systeem tot een bepaald resultaat komt, is belangrijk voor die transparantie. Maar het is niet noodzakelijk evident wanneer de verzameling trainingsdata zeer uitgebreid is, misschien niet onder eigen beheer valt, of wanneer het aantal parameters van het model onoverzichtelijk groot is. Denk ook na over de volgende vragen die een journalist of wakkere burger plots kan stellen: Is er een ethische evaluatie en Data Privacy Impact Assessment gebeurd? Waar kan ik mijn data raadplegen en beslissen wat ermee gebeurt?

Praktisch

Naast deze vijf kernvragen bestaan er al heel wat vragenlijsten voor SWOT-achtige analyses die specifiek zijn toegespitst op AI-projecten, met verschillende niveaus van diepgang of een focus op bepaalde subthema’s. De ultieme checklist maken is echter onbegonnen werk, omdat veel afhangt van wie het doelpubliek is van de analyse. Een projectleider vindt andere aspecten belangrijk dan de CEO, aandeelhouder of eindgebruiker. Bovendien is niet alles even relevant voor elke use case. Een AI die een keukenrobot aanstuurt, heeft niet dezelfde KPI’s of foutentoleranties als eentje die een pacemaker aanstuurt. Om het overzicht te bewaren kan het handig zijn om, voor de eigen use cases, de belangrijkste vragen uit verschillende analyses mee te nemen in een eigen assessment, waarvan de resultaten bijvoorbeeld in een grafiek zoals deze kunnen worden weergegeven:

AI project assessment samengevat in een radardiagram.

Dit was uiteraard maar een greep uit de bedenkingen die je kan maken bij de start van een nieuw AI-project. Wat dat project ook mag inhouden: een dergelijke denkoefening, voordat er bepaald wordt om geld en middelen in de uitvoering te steken, is de investering meestal dubbel en dik waard. Als laatste geven we nog een aantal goede startpunten om een eigen analyse op te baseren:

Dit is een ingezonden bijdrage van Joachim Ganseman van Smals Research. Via deze link vind je meer informatie over de het onderzoek van de organisatie. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals. 

nieuwsbrief

Abonneer je gratis op ITdaily !

  • This field is for validation purposes and should be left unchanged.