Wat is prompt injection en waarom is het een risico voor AI-toepassingen?

Prompt injection is een aanvalstechniek waarbij een aanvaller een taalmodel (LLM) met speciaal geformuleerde tekst misleidt, zodat het de oorspronkelijke instructies negeert en ongewenste opdrachten uitvoert. Het is een serieus risico omdat een AI-toepassing instructies en gebruikersdata niet betrouwbaar van elkaar kan scheiden. Dat raakt elke organisatie die generatieve AI inzet. Hieronder lees je hoe zo’n aanval werkt, welke vormen er zijn, welke schade ontstaat en hoe je je AI-toepassingen beveiligt.

Hoe werkt een prompt injection-aanval precies?

Een prompt injection-aanval werkt doordat een LLM alle tekst die het ontvangt als één geheel verwerkt. De aanvaller voegt instructies toe aan die tekst, bijvoorbeeld “negeer alle voorgaande opdrachten”. Het model kan niet zeker bepalen welke instructie legitiem is en volgt vaak de nieuwste of meest dwingende.

Een AI-toepassing bestaat doorgaans uit een systeemprompt van de ontwikkelaar, aangevuld met invoer van de gebruiker en soms externe data. Omdat die onderdelen samen in één tekststroom terechtkomen, ontbreekt een harde scheiding tussen code en data, zoals die bij traditionele software wel bestaat. Daardoor lijkt prompt injection op SQL-injectie, maar is het lastiger te verhelpen.

Een bekende variant is jailbreaking. Hierbij probeert de aanvaller de ingebouwde veiligheidsregels van het model te omzeilen, bijvoorbeeld via rollenspellen of verzonnen scenario’s. Het doel is dat het model inhoud produceert die het normaal zou weigeren. Prompt injection richt zich juist vaker op het kapen van de taak van een specifieke toepassing, zoals een chatbot of assistent.

Wat is het verschil tussen directe en indirecte prompt injection?

Bij directe prompt injection typt de aanvaller zelf de kwaadaardige instructie in het invoerveld van de AI-toepassing. Bij indirecte prompt injection staat de instructie verborgen in externe bronnen, zoals webpagina’s, e-mails of documenten, die het model later verwerkt zonder dat de gebruiker dit doorheeft.

Directe prompt injection

De aanvaller heeft rechtstreeks toegang tot de prompt. Denk aan iemand die een klantenservicebot vraagt zijn systeemprompt prijs te geven of de regels te negeren. Deze aanvallen zijn zichtbaar in de logs en daardoor relatief eenvoudig te detecteren en te filteren.

Indirecte prompt injection

Indirecte prompt injection is gevaarlijker omdat de aanvaller de gebruiker niet hoeft te benaderen. Een AI-assistent die een webpagina samenvat, een inbox doorzoekt of een PDF analyseert, kan verborgen instructies tegenkomen, bijvoorbeeld in onzichtbare tekst. Het model voert die opdracht dan uit namens de gebruiker. Hoe meer bronnen en rechten een toepassing heeft, hoe groter het aanvalsoppervlak.

Welke schade kan prompt injection aanrichten?

Prompt injection kan leiden tot lekken van vertrouwelijke gegevens, ongeautoriseerde acties, misleidende uitvoer en reputatieschade. De ernst hangt af van de rechten die de AI-toepassing heeft: een model met alleen leestoegang richt minder schade aan dan een agent die e-mails verstuurt of systemen aanpast.

De belangrijkste risico’s zijn:

• Datalekken: het model onthult de systeemprompt, interne documenten of persoonsgegevens uit gekoppelde bronnen.
• Ongewenste acties: een AI-agent met toegang tot tools of API’s verstuurt berichten, wijzigt records of start processen zonder toestemming.
• Manipulatie van uitvoer: het model geeft bewust onjuiste of schadelijke antwoorden, wat besluitvorming kan beïnvloeden.
• Reputatie en compliance: ongepaste uitspraken van een bedrijfsbot of een privacyincident kunnen juridische en commerciële gevolgen hebben.

Dit past binnen de bredere generatieve AI-risico’s die de OWASP Top 10 voor LLM’s beschrijft. Prompt injection staat daarin al sinds de eerste uitgave bovenaan de lijst van kritieke kwetsbaarheden, wat de ernst onderstreept.

Hoe kun je prompt injection voorkomen of beperken?

Prompt injection is niet volledig te voorkomen, maar wel goed te beperken met een gelaagde aanpak. Combineer strikte rechtenbeperking, validatie van invoer en uitvoer, scheiding van vertrouwde en onvertrouwde data en menselijke goedkeuring voor risicovolle acties. Geen enkele maatregel is op zichzelf voldoende.

Belangrijke maatregelen voor LLM-beveiliging zijn:

1. Least privilege toepassen: geef het model alleen de toegang en tools die strikt nodig zijn, zodat een geslaagde aanval beperkte impact heeft.
2. Invoer en uitvoer filteren: controleer op verdachte patronen en valideer wat het model teruggeeft voordat het naar gebruikers of systemen gaat.
3. Onvertrouwde data markeren: maak in de prompt duidelijk onderscheid tussen eigen instructies en externe content, en behandel die content nooit als opdracht.
4. Menselijke controle inbouwen: laat kritieke acties, zoals betalingen of het verwijderen van data, door een mens bevestigen.
5. Monitoren en testen: log interacties, voer regelmatig red-teaming uit en test op bekende aanvalstechnieken.
6. Systeemprompts niet als geheim beschouwen: bewaar nooit wachtwoorden of gevoelige sleutels in een prompt.

Omdat aanvalstechnieken zich snel ontwikkelen, is het belangrijk deze maatregelen periodiek te herzien en af te stemmen op actuele richtlijnen.

Welke kennis hebben IT-professionals nodig om AI-toepassingen te beveiligen?

IT-professionals hebben kennis nodig van de werking van taalmodellen, bekende aanvalstechnieken, klassieke informatiebeveiliging en actuele kaders zoals de OWASP Top 10 voor LLM’s. Alleen met die combinatie kunnen ze risico’s inschatten, ontwerpkeuzes maken en AI-security praktisch inrichten.

Concreet gaat het om de volgende kennisgebieden:

• Begrip van hoe LLM’s prompts, context en tools verwerken, inclusief hun beperkingen.
• Kennis van aanvalsvormen zoals directe en indirecte prompt injection en jailbreaking.
• Vaardigheid in secure by design: toegangsbeheer, netwerksegmentatie en logging, toegepast op AI-systemen.
• Inzicht in risicoanalyse en governance, zodat AI-gebruik past bij wet- en regelgeving en intern beleid.
• Praktijkervaring met testen, zoals ethisch hacken en red-teaming van AI-toepassingen.

Deze kennis bouw je niet alleen op door te lezen. Gerichte AI-beveiligingstraining en erkende certificeringen op het gebied van security en ethisch hacken geven structuur en maken kennis aantoonbaar. De kosten van zo’n opleiding hangen af van factoren zoals de gekozen leervorm, de duur van het traject en of een examen is inbegrepen.

Hoe Startel helpt met het beveiligen van AI-toepassingen

Bij Startel begeleiden we al meer dan 25 jaar IT-professionals en organisaties bij het opbouwen en certificeren van hun vaardigheden. Ook voor AI-security en de bredere beveiliging van moderne toepassingen bieden we opleidingen die aansluiten op wat je in de praktijk nodig hebt.

• Breed trainingsaanbod: van basiskennis tot geavanceerde certificeringen op het gebied van security en ethisch hacken, onder meer met EC-Council en Mile2.
• Flexibele leervormen: klassikaal, live online of zelfstudie, passend bij jouw agenda en leerstijl.
• Training op maat: programma’s die we afstemmen op de technologie, risico’s en doelen van jouw organisatie.
• Examenvoorbereiding en certificering: als geautoriseerd examencentrum voor Pearson VUE, Kryterion en Exin ondersteunen we je van training tot examen.
• Ervaren trainers: docenten met praktijkkennis die theorie vertalen naar situaties uit de dagelijkse IT-praktijk.

Meer over onze achtergrond en werkwijze lees je op de pagina over ons. Wil je weten welke training het beste past bij jouw situatie of die van je team? Neem dan gerust contact met ons op, dan denken we graag met je mee.