Kwetsbaarheid in AI-ontwikkeltools

Beveiligingsonderzoekers misleiden zes AI-browsers, waaronder ChatGPT Atlas en Comet, met een spelletje waarin 2 plus 2 ineens 5 is. Het resultaat: de guardrails verdwijnen en inloggegevens lekken.

Een lek in Amazon Q Developer liet een kwaadaardige Git-repository ongevraagd code uitvoeren en AWS-cloudsleutels stelen. Amazon dichtte het, maar het patroon raakt elk bedrijf met AWS en een AI-assistent.

Prompt injection is geen hack waarbij iemand het model kraakt. Het model volgt verstopte instructies in de data die het leest, omdat het jouw opdracht niet kan onderscheiden van onvertrouwde inhoud. Zo werkt het, en zo dam je het in.