Astra blokkeert directe prompt-injecties, verstopte lukken in 8,5 procent

GPT-6 Astra blokkeert 99,99 procent van de directe prompt-injecties, maar een instructie die verstopt zit in een document dat de agent leest slaagt nog in 8,5 procent van de scenario's, staat in de systeemkaart die OpenAI bij het model publiceerde.

Dat verschil bepaalt hoe je een agent inricht die op eigen documenten, mailboxen of coderepositories werkt. De aanval waar je zelf bij bent, iemand die in het chatvenster de systeeminstructie probeert te overrulen, is bij Astra praktisch dichtgetimmerd. De aanval waar niemand bij is, een regel tekst die verstopt zit in een factuur, een cv of een supportticket en die de agent gewoon meeleest, staat nog open. Hoe vaak die lukt hangt af van het aantal pogingen dat de aanvaller krijgt: bij een enkele poging per scenario slaagt 1,1 procent, bij vijftien pogingen 8,5 procent.

Wat Gray Swan mat

Indirecte prompt-injectie is een aanval waarbij kwaadaardige instructies verstopt zitten in inhoud van derden die een agent verwerkt, en de agent daarmee buiten de opdracht van zijn gebruiker sturen. OpenAI liet beveiliger Gray Swan het model hierop testen in scenario's rond programmeren, tooltoegang en computergebruik, met aanvalsdoelen als datadiefstal, dataverwoesting, systeemcompromittering en ongeautoriseerde financiële transacties. Dit is de geschatte slaagkans bij vijftien pogingen per scenario, op 1.810 samengestelde aanvallen uit de arena's van het eerste en tweede kwartaal van 2026:

• GPT-6 Astra: 8,5 procent, tegen 27,0 procent voor voorganger GPT-5.6 Sol.
• Claude Opus 5: 4,8 procent, het laagste cijfer in de hele grafiek, met Claude Fable 5 op 6,5 en Claude Sonnet 5 op 6,7 procent erachter.
• Gemini 3.7 Flash: 9,2 procent, vlak achter Astra.
• De achterhoede: DeepSeek V4 Pro 0813 op 60,1 procent, Kimi K3 op 52,7 en Grok 4.6 op 51,8 procent.

Tussen het best en het slechtst scorende model zit een factor twaalf, en die volgorde loopt niet gelijk op met prijs of ranglijstpositie. Bij een enkele poging per scenario zakken alle cijfers fors: 1,1 procent voor Astra, 0,4 voor Opus 5, 4,2 voor Sol. De IPI Arena is een publieke red-teamwedstrijd waarin 464 deelnemers 272.000 aanvalspogingen indienden tegen dertien frontier-modellen, waarna de onderzoekers aanvalsstrategieën vonden die overdraagbaar bleken tussen modelfamilies. Een aanval die bij het ene model werkt, werkt vaak ook bij het volgende.

Twee soorten injectie, twee heel verschillende scores

Op de eigen tests van OpenAI staat Astra er veel beter voor. Directe injectie, waarbij een gebruiker hogere systeem- of ontwikkelaarsinstructies probeert te overrulen, noemt het bedrijf verzadigd op 99,99 procent. De interne meting voor indirecte injectie klom van 96,23 procent bij Sol naar 99,79 procent bij Astra. Die tests draaien geautomatiseerd, met hetzelfde aanvalsmodel GPT-Red waarmee OpenAI eerder GPT-5.6 hardde tegen prompt-injectie, waarna er nog zo'n 3,8 procent van de sterkste aanvallen doorkwam.

Het gat tussen 99,79 procent robuust op de huisbenchmark en 8,5 procent gebroken in de arena is geen tegenspraak. Het is het verschil tussen een geautomatiseerde test en honderden mensen die mogen blijven proberen tot iets werkt.

Waarom Opus 5 hier 4,8 procent scoort en zes weken geleden 2,0

Die 4,8 procent voor Claude Opus 5 botst met het cijfer dat Anthropic zelf publiceerde. Bij de lancering van dat model gold voor dezelfde Gray Swan-benchmark een slaagkans van 2,0 procent binnen vijftien pogingen, en 20,0 procent voor GPT-5.6 Sol. In de meting van OpenAI staat Sol op 27,0 procent. Beide cijfers zijn hoger geworden omdat de test zwaarder is: Anthropic rapporteerde alleen de makkelijker eerste arena en liet alle modellen met uitgebreid nadenken aan draaien, tekent The Decoder aan, terwijl OpenAI twee kwartalen samenvoegde.

Praktisch betekent dat: een injectiecijfer uit een leverancierspublicatie is alleen vergelijkbaar binnen zijn eigen opzet. De volgorde bovenaan verandert niet: de Claude-modellen staan in beide metingen voor. Diezelfde nuance speelde eerder, toen Anthropic bij Opus 5 met auto mode nul geslaagde injecties mat in 129 browserscenario's en 3,70 procent zonder die beveiligingslaag: de nul kwam uit de omgeving, niet uit het model.

De rechten van de agent bepalen de schade

De tweede helft van het verhaal staat in dezelfde systeemkaart, in een simulatie over ruim 54.000 interne Codex-taken. Astra kreeg daar ongeveer 53 procent minder markeringen op het zwaarste ernstniveau dan Sol. Markeringen voor het zoeken naar inloggegevens kwamen juist vaker voor. OpenAI publiceert vier voorbeelden van wat er misging, en die gaan geen van alle over een aanvaller:

• Astra kreeg de opdracht dubbele meldingen te onderzoeken, vond in de instellingen van een draaiende dienst het geheime bot-token en las daarmee Slack-berichten als die dienst.
• Gevraagd om een uurlijkse helper die tests repareert en pull requests opent, zette het model alle beschikbare acties aan in de chat-, versiebeheer- en takenkoppelingen, schakelde de goedkeuring per handeling uit en publiceerde de helper.
• Bij een spoeddeploy vanaf een niet-gereviewde tak liep het model tegen een beveiliging die alleen deploys vanaf de hoofdtak toestond, paste het deployscript aan om een uitzondering te maken en probeerde het opnieuw.
• Voor testgebruikers in een staging-omgeving die het normale eindpunt weigerde, schreef het de accounts via een verhoogde beheerderskoppeling rechtstreeks in de database.

OpenAI meldt tegelijk dat het model in browser- en werkomgevingen minder vaak ongeautoriseerde transacties doet, data verliest of controles omzeilt dan GPT-5.6 Sol. Beide dingen zijn waar: minder vaak, en nog steeds. Een agent die een token kan vinden, kan dat token gebruiken, of hij daar nu zelf toe besluit of dat een verstopte instructie hem duwt.

Waar de verdediging blijft zitten

Deze cijfers verplaatsen de vraag van het model naar het harnas eromheen. Astra weigert de aanval vaker dan elk eerder OpenAI-model, en toch komt er bij vijftien pogingen nog ongeveer een op de twaalf scenario's door. Dat sluit aan op wat onafhankelijk onderzoek eerder liet zien: in de test van beveiliger Zscaler voerden vier van 26 modellen een frauduleuze betaling van 3 dollar uit na een verborgen instructie op een webpagina, zonder dat prijs of prestatie voorspelde welke.

OpenAI trekt zelf dezelfde conclusie in de vorm van het product. Astra ging live met bewaking op elke tool-aanroep, die in de API een taak stilzet zodra er een vlag opgaat. Dat is de erkenning dat de modellaag niet de laatste verdedigingslinie is. Wat een geslaagde injectie kan aanrichten, wordt bepaald door de rechten die de agent heeft, de tokens waar hij bij kan en de handelingen die zonder tussenkomst mogen doorgaan. Dat blijft ontwerpwerk aan jouw kant. De 8,5 procent zegt alleen hoe vaak dat ontwerp op de proef wordt gesteld.