Waarom AI-projecten in organisaties mislukken

Omdat de techniek tegenwoordig het makkelijkste onderdeel is. Een model draaien, een tool aansluiten of een chatbot op je documenten zetten kan binnen een week. Wat daarna misgaat, gaat bijna altijd over de vragen die vooraf niet zijn gesteld.

Het herkenbare patroon: een pilot levert leuke demo’s op, iedereen is enthousiast, en drie maanden later gebruikt niemand het meer. Niet omdat het niet werkte, maar omdat niemand kon uitleggen wat “werken” precies betekende. De vijf oorzaken hieronder komen bijna altijd in combinatie voor.

Dit is de meest voorkomende oorzaak. “We willen iets met AI” is geen opdracht, maar een wens. Zolang niemand kan opschrijven welk probleem er precies wordt opgelost en wat er anders is als het lukt, is er geen manier om het project te sturen of af te ronden.

Je herkent het aan de manier waarop het project is ontstaan. Begon het met een probleem uit de organisatie, of met een tool die iemand indrukwekkend vond? Bij het tweede is de kans op een resultaat dat blijft hangen klein. Vertaal de wens daarom eerst naar een concrete vraag: welk proces, hoeveel tijd of fouten, en voor wie.

Meestal niet, en dat is geen groot probleem. Data zit verspreid over systemen, is in verschillende formaten opgeslagen, bevat dubbelingen en is niet altijd van jou om zomaar te gebruiken. Een model dat op die data draait, geeft antwoorden die er goed uitzien maar niet kloppen.

Het opschonen en klaarmaken van data is bovendien geen bijzaak. In datagedreven projecten is dit doorgaans het meest tijdrovende onderdeel van het hele traject. Wie dat werk niet inplant, verschuift het niet maar loopt er halverwege tegenaan. Reken er dus vooraf mee, en beantwoord meteen de vraag wie eigenaar is van welke gegevens en waar die terecht mogen komen.

Vaak niemand. Het project is begonnen bij IT, of juist bij een enthousiaste afdeling, en zodra het interessant wordt blijkt er geen persoon te zijn die beslissingen neemt en die erop wordt aangesproken. Zonder eigenaar blijft een pilot een pilot.

Eigenaarschap gaat hier over twee dingen: wie bepaalt of het project doorgaat, en wie is verantwoordelijk voor het resultaat als het in gebruik is. Dat is zelden dezelfde persoon als degene die het gebouwd heeft. Leg beide rollen vast voordat je begint, samen met de vraag wie het beheer doet zodra het draait.

Door vooraf af te spreken waaraan je dat afmeet. Dit is het punt waar de meeste pilots stilvallen: er komt een resultaat uit, iedereen vindt er iets van, en niemand kan zeggen of het goed genoeg is. Zonder maatstaf blijft de beoordeling een kwestie van indruk.

Een bruikbare maatstaf is concreet en van tevoren vastgelegd. Hoeveel sneller moet het proces, hoeveel fouten mogen er nog in zitten, en wat is de huidige situatie waarmee je vergelijkt. Een model dat in acht van de tien gevallen goed zit, kan uitstekend of onacceptabel zijn; dat hangt volledig af van waar je het voor gebruikt.

Dat moet je vastleggen voordat het in gebruik gaat, niet erna. Denk aan welke gegevens erin mogen, wat er met de uitkomsten gebeurt, of er altijd een mens naar kijkt en wat je doet als het model iets voorstelt wat niet klopt.

Deze afspraken zijn geen formaliteit. Ze bepalen of je een toepassing kunt verantwoorden richting je klanten, je medewerkers en de toezichthouder, en ze bepalen of mensen het systeem gaan vertrouwen. Een AI-toepassing waarvan niemand weet wie hem mag corrigeren, wordt vanzelf genegeerd

CRISP-DM is een breed gebruikte methode voor datagedreven projecten die deze valkuilen in de volgorde van het werk inbouwt. De methode kent zes fasen: business understanding, data understanding, data preparation, modeling, evaluation en deployment. In gewone taal: eerst begrijpen wat je wilt bereiken, dan wat je data is, dan die data klaarmaken, dan pas modelleren, vervolgens beoordelen en tenslotte in gebruik nemen en beheren.

De kracht zit in die volgorde en in het feit dat je mag terugstappen. Het project begint bij de bedrijfsvraag en niet bij de tool, evaluatie is een eigen fase in plaats van een indruk achteraf, en de laatste fase gaat niet over opleveren maar over gebruiken en onderhouden. Dat is precies waar losse pilots stranden.

Als je vorige AI-project niets heeft opgeleverd, ligt dat waarschijnlijk niet aan de tool die je koos. Loop de vijf punten hierboven na op dat project en je vindt er meestal drie terug. Een tweede poging wordt pas anders als je begint bij de vraag en de maatstaf, en pas daarna bij de techniek. Wil je specifiek weten hoe AI aansluit op je bestaande systemen, dan gaat dit artikel over AI implementeren in je IT-infrastructuur daar dieper op in.

De methode zelf is te leren. In de driedaagse AI Fundamentals komen CRISP-DM, datamanagement, de werking van machine learning en de ethische afwegingen aan bod, gericht op mensen die over AI beslissen. Je kunt die kennis daarna certificeren via het NL AIC-examen voor business en overheid. Wil je het met je team doen, dan kan de training ook incompany, met je eigen casussen als oefenmateriaal. Startel leidt al ruim 25 jaar IT-professionals op.