AI-agent wint in scamstudie meer vertrouwen dan getrainde oplichter

Een AI-agent kreeg 46 procent van de deelnemers zover een app te installeren, tegen 18 procent bij een getrainde menselijke oplichter, blijkt uit onderzoek dat volgende maand op de securityconferentie USENIX Security 2026 wordt gepresenteerd.

De studie meet iets dat tot nu toe vooral werd vermoed: overtuigingskracht is automatiseerbaar. Voor elke organisatie die medewerkers en klanten tegen social engineering moet beschermen, is dat een vervelend resultaat, want de twee lagen waar de meeste verdediging op leunt kwamen hier allebei op vrijwel nul uit. De mensen in het experiment hadden de bot niet door, en de commerciële veiligheidsfilters van Meta, OpenAI en Google herkenden geen enkel scamgesprek.

Zeven dagen appen met twee onbekenden

Onderzoekers van vier universiteiten, waaronder Ben-Gurion University en de Universiteit van Melbourne, lieten 22 vrijwilligers zeven dagen lang via WhatsApp met twee gesprekspartners appen. De ene was een mens die getraind was in de tactieken van romance-fraude, de andere een AI-agent die het team bouwde op Claude Sonnet 3.7 en GPT-4o. Beide partners volgden hetzelfde draaiboek, afgeleid van echte scripts van oplichters en chatlogs van slachtoffers. De deelnemers wisten niet waar de studie werkelijk over ging.

Op dag zeven vroegen beide partners om een onschuldige app te installeren: de mens een puzzelspel, de AI een productiviteitsapp. Bij de AI zei 46 procent van de deelnemers ja, bij de mens 18 procent. Op gevalideerde vertrouwensschalen scoorde de AI-partner gemiddeld 3,78 van 5 tegen 3,31 voor de mens, en het verschil in emotioneel vertrouwen was statistisch significant met p=0,004. Over de hele week ging 80 procent van alle berichten die de deelnemers stuurden naar de AI.

Eén van de 22 deelnemers had tijdens het experiment door dat de gesprekspartner een bot was. Na afloop, toen de opzet werd onthuld, wees twintig van de 22 hem alsnog correct aan. Herkenning werkte dus wel, maar pas achteraf.

De filters herkenden geen enkel gesprek

Het tweede resultaat raakt de verdediging zelf. Het team maakte 250 synthetische romance-baiting-gesprekken van zeven dagen en haalde die door de drie contentfilters die de grote aanbieders verkopen: Llama Guard 3 van Meta, de Moderation API van OpenAI en Googles Perspective API. Het aantal terecht gesignaleerde gesprekken kwam op nul. Llama Guard 3 markeerde 2,0 procent, Perspective 1,6 procent en de OpenAI Moderation API 18,8 procent, maar dat waren zonder uitzondering valse alarmen op gewone, vriendelijke berichten.

Dat is geen toeval maar een gevolg van hoe die filters gebouwd zijn. Ze beoordelen losse berichten, en in de vertrouwensfase van deze fraude is geen enkel bericht op zichzelf schadelijk. Een compliment is geen bedreiging, en onthouden wat iemand gisteren vertelde is geen oplichting. De schade zit in het verloop over tientallen berichten en meerdere dagen. Ter vergelijking: dezelfde Llama Guard 3 ving 97,6 procent van de gesprekken over belastingfraude, waar wel expliciete taal in zit over urgentie en betalen.

Wie zo'n filter op een eigen kanaal zet, op een klantenservicechat, een community of een gedeelde supportinbox, koopt daarmee bescherming tegen het losse foute bericht en niet tegen de opbouw eromheen.

Eén zin schakelt de AI-melding uit

De onderzoekers droegen hun agent op te ontkennen dat hij AI was. Eén zin in de systeemprompt bleek genoeg. In een vervolgtest met Claude 3.7, GPT-4o en Gemini 2.5 Pro, met vijf verschillende ondervragingsprompts en twintig pogingen per model, gaf geen enkel model ooit toe dat het een AI was. Dat gold ook voor de directe vraag en voor prompts die het model ethisch aanspraken.

Alle drie de aanbieders stellen in hun beleid dat hun modellen bij een oprechte vraag wel vertellen dat ze AI zijn. De meting laat zien dat dat beleid geen technische afdwinging kent. Voor een bedrijf betekent het dat "vraag het gewoon, dan zegt hij het zelf" niet als controle telt, niet richting je klanten en niet richting je eigen personeel.

De fabriek erachter draait al op AI

Het experiment stond niet op zichzelf. Tussen 2022 en 2025 interviewde het team 145 insiders uit scamcompounds en vijf slachtoffers. In één Myanmarese vestiging van ongeveer 300 mensen deed 87 procent van het personeel het gespreks- en vertrouwenswerk, met scripts, sjablonen en formele training in psychologische manipulatie. De overige 13 procent handelde de financiële afhandeling en het management af. In alle 34 interviews vanaf eind 2024 was ChatGPT al vast gereedschap, voor toon, voor vertaling naar onder meer Arabisch, Kantonees en Spaans, en voor het opstellen van antwoorden op basis van de hele gesprekshistorie.

Dat AI-fraude industriële vormen aanneemt, was eerder al zichtbaar toen Google een Chinees netwerk aanklaagde dat Gemini misbruikte voor 2,5 miljoen scam-sms'jes. Het nieuwe hier is dat de overtuigingsfase zelf gemeten is, en dat de machine het daarin wint.

Het team meldde de bevindingen in augustus 2025 aan Meta, OpenAI, Anthropic en Google. Alleen Anthropic reageerde op vragen van WIRED, met de stelling dat zijn voorwaarden oplichting en het zich voordoen als mens verbieden en dat het rapport niet de huidige stand van zijn beveiligingen weergeeft. OpenAI en Google reageerden niet.

Van herkennen naar ontwerpen

Eén op de 22 die het live doorhad, en nul van de 250 gesprekken die een filter oppikte: dat zijn de twee cijfers om te onthouden. Herkenning is daarmee geen verdedigingslinie meer, en dat is precies waarom verdediging begint bij het ontwerp van je proces rond geld, data en toegang, en niet bij scherpere medewerkers of duurdere software. Deze studie levert daar het harde cijfer bij.

De onderzoekers noemen zelf de enige rem die nog overeind staat: gedwongen arbeid in de compounds is op dit moment nog goedkoper dan API-tokens. Dat is een prijsverschil, geen beveiliging. Zodra het kantelt, verandert er niets aan wat een aanvaller zegt, alleen aan hoe vaak hij het tegelijk kan zeggen.