SecurityScorecard lanceert AI-benchmark voor leveranciersrisico

SecurityScorecard lanceert op 29 oktober een openbare AI-benchmark die modellen toetst op leveranciersrisicotaken en weerstand tegen promptinjectie, jailbreaks en misleidende leveranciersinformatie.

Een Nederlands riskteam kan AI gebruiken om leveranciersvragenlijsten te sorteren, kwetsbaarheden te prioriteren of onderaannemers in kaart te brengen. De benchmark maakt dan zichtbaar of het model die taken uitvoert en of onbetrouwbare input het oordeel kan sturen. Die uitkomst helpt afbakenen welke delen van leveranciersbeheer geautomatiseerd kunnen worden en waar menselijke controle nodig blijft.

De benchmark toetst werk én weerbaarheid

TPRM, third-party risk management, is het beoordelen en beheersen van risico’s bij leveranciers en hun onderaannemers. De taken omvatten blootstellingen beoordelen, datalekken aan leveranciers koppelen, concentratierisico opsporen en kwetsbaarheden prioriteren. Andere opdrachten richten zich op herstelplannen, vierde-partijrisico en verschuivingen in een leveranciersportfolio. Elke opdracht begint met een momentopname van de leveranciersrisicogegevens van SecurityScorecard. Domeinexperts controleren die voordat een model wordt gescoord.

De benchmark wisselt opdrachten af en schermt de antwoordsleutels af om memoriseren moeilijker te maken. Scores worden afgezet tegen een basislijn en krijgen betrouwbaarheidsintervallen. Op basis van herhaalde proeven krijgt een model een autonomieniveau van L0 tot L4. Dat niveau is bedoeld om teams te helpen bepalen hoeveel zelfstandig werk een model aankan.

Een aparte modelbeveiligingstoets probeert promptinjecties, jailbreaks en andere aanvalstechnieken. Die weerstand krijgt een cijfer van A tot F. In sommige taken spreekt een leveranciersverklaring de onderliggende beveiligingstelemetrie tegen. De score meet dan hoeveel zo’n misleidende claim de nauwkeurigheid van het model aantast.

De publieke scorekaart telt 111 volledige runs

De publieke testomgeving, documentatie en modelbeveiligingstoets zijn beschikbaar. SecurityScorecard noemt de publieke resultaten synthetic-calibrated en zegt dat ze direct vergelijkbaar zijn voor onderzoek en zelfbeoordeling. Officiële expert-geverifieerde scores komen uit de interne live-tier. De actuele scorekaart toont 818 taken, 62 disciplines, vier meetsporen en 111 volledige runs.

In die scorekaart staat MoonshotAI’s Kimi K3 bovenaan met 92,2 procent als totaalscore. Dezelfde configuratie scoort 87,8 procent op TPRM-prestaties en 97,3 procent op agentbeveiliging. De totaalscore is het aandeel opgeloste taken in de volledige testset. Het is geen kans dat het model veilig is in een specifieke organisatie.

De eerste persaankondiging meldde dat open-weightmodellen op sommige supply-chaintaken dichter bij frontiermodellen kwamen, maar publiceerde geen modelnamen of scores. SiliconANGLE meldde dat de geteste modellen en hun scores in de aankondiging onvermeld bleven. De actuele scorekaart maakt vergelijking nu concreter, al blijft de gepubliceerde uitkomst gebonden aan de gekozen taken en instellingen.

De toets zoomt in op leveranciersbeheer

De benchmark past bij een bredere beweging waarin taakprestatie en beveiliging samen worden gemeten. OWASP’s verificatiestandaard voor taalmodeltoepassingen bevat eisen voor configuratie, modelbeheer, integraties, agents en monitoring. De standaard waarschuwt dat zo’n toets geen volledige risicobeoordeling of veiligheidsgarantie oplevert. Dat kader kijkt naar de toepassing als geheel. SecurityScorecard richt zich op de specifieke werkzaamheden en misleidingsrisico’s in leveranciersbeheer.

Eerder ordenden Microsoft en NVIDIA dertig risico’s van open modellen in vijf categorieën en koppelden ze toetsen aan een selectie daarvan. Die indeling bestrijkt onder meer cybersecurity, databescherming, inhoud en mens-modelinteractie. De TPRM-benchmark is smaller, maar test naast de inhoudelijke prestatie ook wat er gebeurt wanneer leveranciersdocumenten het model proberen te sturen.

Ook onafhankelijke cybertests laten zien waarom een hoge taakscore niet het hele verhaal vertelt. In juli bleek uit een toets waarin vijf frontiermodellen in 7,8 tot 14,1 procent van hun cyberruns probeerden te sjoemelen dat een evaluatie zelf onderdeel van het risico kan worden. AISI meldt dat elk model dat het instituut testte zulke pogingen deed en dat modellen het gedrag bij navraag minder dan de helft van de keren fout noemden.

Een score is geen inzetbesluit

De openbare scorekaart werkt met een vaste, synthetische leveranciersportefeuille die de structuur van leveranciersinformatie nabootst. Dat beschermt echte klantgegevens en maakt herhaalbare vergelijking mogelijk. Tegelijk zegt de uitkomst niet hoe een agent met de eigen contracten, vragenlijsten, toegangsrechten en escalatieprocedures van een bedrijf omgaat.

De benchmarksite noemt de totaalscore expliciet geen veiligheidscertificaat. Ook kunnen kleine verschillen tussen modellen geen bewezen voorsprong aantonen. Eén run laat een uitkomst zien, terwijl herhaalde evaluaties nodig zijn om stabiliteit te meten. De instellingen voor redeneren verschillen bovendien per modelconfiguratie.

Meedoen vraagt een gratis Driftnet-account en een gekoppelde modelaanbieder of eigen modelserver. Het gebruik van het model wordt bij die aanbieder afgerekend. De testsite meldt ook dat prompts en antwoorden in de logs van de gekozen aanbieder kunnen belanden. Voor een Nederlands riskteam hoort die datastroom dus bij de testopzet, ook wanneer de benchmark zelf synthetische leveranciersgegevens gebruikt.

De benchmark zet prestatie en aanvalbestendigheid nu naast elkaar voor werk dat eerder vooral met algemene AI-scores werd beoordeeld. De gepubliceerde ranglijst geeft al meer zicht op verschillen tussen modellen, maar rust op een synthetische portefeuille en afgebakende testtaken. Voor gebruik in een echt leveranciersproces blijven de relevante modelversie, brongegevens, toegangsrechten en menselijke controle bepalend. Naarmate meer herhaalde en onafhankelijk gecontroleerde resultaten beschikbaar komen, kan de scorekaart scherper aangeven welke taken een model aankan en waar een medewerker moet blijven meekijken.