Hoe verschillen supervised, unsupervised en reinforcement learning?

Bij supervised learning leert een model van voorbeelden waarvan het juiste antwoord bekend is. Unsupervised learning zoekt juist zelf naar patronen in data zonder vooraf gegeven antwoorden. Bij reinforcement learning leert een systeem door acties uit te voeren en feedback te krijgen op de gevolgen daarvan.

Het belangrijkste verschil zit dus niet zozeer in wat het systeem uiteindelijk kan, maar in hoe het tijdens de training leert.

Deze drie termen worden vaak naast elkaar gezet, maar het zijn niet de enige manieren waarop machinelearningmodellen kunnen leren. Er bestaan bijvoorbeeld ook semi-supervised en self-supervised learning.

Supervised learning gebruik je wanneer je trainingsvoorbeelden hebt waarbij de gewenste uitkomst bekend is. Het model vergelijkt zijn voorspellingen met die bekende uitkomsten en past zichzelf tijdens de training aan om de fout kleiner te maken.

Stel dat je een model wilt leren of een e-mail spam is. Je geeft het duizenden eerdere e-mails waarbij al is aangegeven welke berichten spam waren en welke niet. Het model probeert vervolgens patronen te vinden waarmee het nieuwe e-mails kan classificeren.

Veel supervised-learningproblemen vallen in twee categorieën:

• Classificatie: kiezen tussen categorieën, bijvoorbeeld fraude of geen fraude.
• Regressie: een numerieke waarde voorspellen, bijvoorbeeld energieverbruik of een verkoopvolume.

Een voordeel is dat je de prestaties relatief duidelijk kunt meten: voor een testvoorbeeld weet je immers wat het juiste antwoord had moeten zijn. Een nadeel is dat goede labels verzamelen veel tijd en specialistische kennis kan kosten.

Wil je dit verschil verder uitdiepen, lees dan Startels artikel over het verschil tussen supervised en unsupervised learning.

Unsupervised learning gebruik je wanneer je wel data hebt, maar geen vooraf bepaalde labels of juiste antwoorden. Het algoritme probeert zelfstandig structuur in die gegevens te vinden, bijvoorbeeld door vergelijkbare datapunten bij elkaar te plaatsen.

Een bekend voorbeeld is klantsegmentatie. Je kunt gegevens hebben over aankoopgedrag, bezochte pagina’s en productvoorkeuren zonder dat iemand vooraf heeft bepaald welke klantgroepen bestaan. Een algoritme kan vervolgens groepen ontdekken waarvan de leden sterk op elkaar lijken.

Veelgebruikte toepassingen zijn onder andere:

• clustering van vergelijkbare gegevens;
• het terugbrengen van veel kenmerken naar een kleiner aantal relevante dimensies;
• het ontdekken van opvallende structuren of afwijkende patronen.

De uitkomst vraagt wel om interpretatie. Als een algoritme vier klantgroepen vindt, betekent dat niet automatisch dat die vier groepen zakelijk bruikbaar zijn. Een mens moet nog steeds bepalen wat de gevonden patronen betekenen en of je er iets mee kunt.

Reinforcement learning laat een zogenoemde agent leren door interactie met een omgeving. De agent probeert acties uit, ziet wat er gebeurt en ontvangt een beloningssignaal dat aangeeft hoe gunstig het resultaat was.

Denk bijvoorbeeld aan een systeem dat een spel leert spelen. Het krijgt niet voor iedere mogelijke situatie vooraf het juiste antwoord. Het moet ontdekken welke reeks beslissingen uiteindelijk tot een goede uitkomst leidt.

Daarbij speelt een belangrijke afweging: gebruikt het systeem vooral acties waarvan het al weet dat ze goed werken, of probeert het iets nieuws waarmee mogelijk een betere strategie wordt ontdekt?

Reinforcement learning is vooral interessant bij opeenvolgende beslissingen, waarbij een keuze nu gevolgen heeft voor wat later mogelijk is. Dat maakt de methode fundamenteel anders dan een klassiek classificatiemodel dat één invoer direct aan één voorspelling koppelt.

Voor meer technische verdieping kun je verder lezen over wat reinforcement learning is en wanneer je het toepast.

Welke leermethode past, hangt vooral af van je beschikbare data en het probleem dat je wilt oplossen. Heb je voorbeelden met bekende antwoorden, dan ligt supervised learning voor de hand. Wil je juist onbekende patronen onderzoeken, dan kan unsupervised learning geschikter zijn.

1. Een praktische vuistregel:
   – Kies supervised learning als je weet wat je wilt voorspellen.
     Je beschikt bijvoorbeeld over historische gevallen met een bekende uitkomst.
   – Kies unsupervised learning als je wilt ontdekken wat er in je data zit.
     Je hebt gegevens, maar nog geen vooraf bepaalde categorieën of antwoorden.
   – Kies reinforcement learning als een systeem door handelen een strategie moet leren.
     Het gaat dan meestal om een reeks keuzes waarbij resultaten pas na één of meerdere acties duidelijk worden.

Reinforcement learning is daardoor niet automatisch de ‘slimmere’ of meer geavanceerde keuze. Voor veel zakelijke voorspellingen is een relatief eenvoudig supervised model praktischer, goedkoper en beter te controleren.

Nee. Supervised, unsupervised en reinforcement learning beschrijven manieren waarop machinelearningmodellen kunnen leren, niet drie overkoepelende soorten kunstmatige intelligentie.

Dat onderscheid voorkomt veel begripsverwarring. Ook termen als machine learning, deep learning en generatieve AI beschrijven iets anders.

Deep learning verwijst bijvoorbeeld naar modellen die gebruikmaken van diepe neurale netwerken. Zo’n netwerk kan afhankelijk van de toepassing via verschillende leerbenaderingen worden getraind. Deep learning is dus niet simpelweg een vierde alternatief naast supervised, unsupervised en reinforcement learning.

Ook moderne generatieve AI past niet netjes in één van deze drie vakjes. Bij het ontwikkelen van zulke modellen kunnen meerdere leer- en trainingsmethoden achter elkaar worden gebruikt.

Wil je eerst de belangrijkste terminologie op een rij hebben, dan helpt het overzicht AI-begrippen die iedere beginner moet kennen om de verschillende begrippen uit elkaar te houden

Supervised learning leert van voorbeelden met bekende antwoorden, unsupervised learning zoekt zelfstandig patronen en reinforcement learning leert door acties en feedback. Geen van de drie methoden is standaard beter: de geschikte aanpak hangt af van je probleem, data en gewenste uitkomst.

Je hoeft deze technieken niet zelf te kunnen programmeren om AI beter te begrijpen. Als je wel wilt weten wat er technisch achter AI-toepassingen gebeurt, komen machinelearningbenaderingen ook aan bod in de AI Fundamentals-training van Startel. Startel heeft ruim 25 jaar ervaring met IT-opleidingen en richt zich in deze training niet alleen op het gebruiken van AI, maar ook op de onderliggende principes.