Bank of England wil noodrem voor autonome AI-agents in markten

Een toezichthouder die hardop nadenkt over een noodknop voor AI is zeldzaam. Sarah Breeden, onderdirecteur voor financiele stabiliteit bij de Bank of England, deed het deze week wel. In een toespraak met de titel Agents of change op het ECB-forum voor centrale banken in het Portugese Sintra waarschuwde ze dat autonome AI-agents in financiele markten een "market meltdown" kunnen veroorzaken, en dat toezichthouders daarom moeten nadenken over guardrails die "analoog aan circuit breakers of kill switches de handel marktbreed zouden stoppen als foutieve AI-modellen een market meltdown veroorzaken".

Dat klinkt als een verhaal over hedgefondsen en beurshandel, ver van de gemiddelde ondernemer. Maar de redenering eronder is universeel. Breeden legt precies de vraag op tafel waar elk bedrijf dat AI-agents op geld- of bedrijfsprocessen zet vroeg of laat tegenaan loopt: als een systeem zelfstandig handelt, welke noodremmen en controles horen daar dan bij? Haar antwoord voor de markt is een blauwdruk voor jouw eigen governance.

Waarom een centrale bank zich hier druk om maakt

Breeden schetst een financieel systeem dat in hoog tempo autonomer wordt: AI-agents die namens consumenten en bedrijven transacties doen, handelsstrategieen bedenken en uitvoeren, en zelfstandig cyberkwetsbaarheden aan elkaar rijgen. Ze onderbouwt de snelheid met een concreet cijfer: de lengte van een softwaretaak die de beste AI-modellen konden afronden verdubbelde in 2019 ongeveer elke zeven maanden, en in 2024 al elke vier maanden. De sprong van modellen die op verzoek inhoud maken, via modellen die redeneren, naar agents die zelfstandig reeksen acties aan elkaar koppelen, noemt ze een omslagpunt.

De adoptie is bovendien geen toekomstmuziek. Volgens een onderzoek van het Cambridge Centre for Alternative Finance gebruikt 52 procent van de financiele bedrijven inmiddels agentische AI. Voor nu zetten handelaren die vooral in voor lagere-risicotaken zoals research, maar dat kan volgens Breeden snel veranderen.

Haar kernzorg is niet dat een agent iets doms doet dat je meteen ziet. Het is kuddegedrag. "Als AI-agents op dezelfde prompts of triggers vergelijkbaar reageren, kunnen ze de volatiliteit in stress versterken", zei ze, zeker als hun doelfuncties afdrijven van de oorspronkelijke doelen. Duizend bedrijven die dezelfde populaire modellen op vergelijkbare data loslaten, kunnen op hetzelfde moment dezelfde kant op bewegen. Dat is het financiele equivalent van een file die ontstaat doordat iedereen tegelijk remt.

De drie noodremmen die de toezichthouder overweegt

Breeden noemt drie soorten ingreep, en ze vertalen verrassend goed naar de schaal van een gewoon bedrijf.

De eerste is de kill switch of circuit breaker: een mechanisme dat de handel stopt zodra een foutief model schade dreigt aan te richten. In een marktcontext is dat marktbreed; binnen jouw bedrijf is het de knop die een agent per direct stillegt voordat hij een nacht lang de verkeerde klanten mailt of in een lus honderden euro's aan tokens verstookt.

De tweede is kuddedetectie. De Bank of England experimenteert samen met de BIS Innovation Hub en de Duitse Bundesbank met simulaties om te begrijpen welke aspecten van agent-ontwerp kuddegedrag aanjagen, tot en met een 'digital twin' van het financiele systeem om interacties tussen deelnemers na te bootsen. Dat centrale banken zelf zwaar in dit soort AI investeren is geen verrassing meer: financiele toezichthouders bouwen inmiddels hun eigen AI-suptech om markten en cyberdreiging bij te benen. Voor jou is de les kleiner maar concreet: weet of meerdere van jouw agents op hetzelfde model en dezelfde regels leunen, want dan falen ze ook samen.

De derde, en de meest fundamentele, is governance die niet leunt op een mens die elke actie goedkeurt. "Onze kaders zijn niet gebouwd om autonome agents te bevatten, en vertrouwen op een mens in de lus voor alle acties van een agent is waarschijnlijk niet realistisch", vertelde Breeden op het ECB-forum in Portugal. Dat is de scherpste zin uit haar verhaal. Het idee dat je veiligheid regelt door overal een mens tussen te zetten, houdt geen stand zodra agents op schaal en snelheid werken. De controle moet in het ontwerp zitten, niet in een goedkeuringsklik achteraf.

Wat dit betekent voor jouw bedrijf

Je hoeft geen handelshuis te zijn om hier iets aan te hebben. Zodra een agent in jouw naam bestellingen plaatst, facturen verstuurt, betalingen vrijgeeft of een klant een toezegging doet, gelden dezelfde drie vragen die Breeden aan de markt stelt. En de aansprakelijkheid ligt gewoon bij jou: gaat je AI-agent de fout in, dan betaal jij de rekening, niet het model of de leverancier.

Het goede nieuws is dat de bouwstenen bekend zijn en niet exotisch. Leg vast welke vijf afspraken je maakt voordat een agent de productie in gaat, de aanpak die begint bij de les van Air Canada dat je aan de toezeggingen van je eigen bot vastzit. Zorg dat je per agent budgetten en een noodrem instelt en elke actie audit-ready logt, zodat je een agent kunt stilzetten en achteraf kunt reconstrueren wat er gebeurde. Dat is exact de kill switch die Breeden voor de hele markt bepleit, alleen dan op de schaal van jouw processen.

Breeden raakt in haar toespraak ook het punt waar het bij consumenten en betalingen echt spannend wordt: hoe geef je een agent veilig toestemming, hoe worden geschillen beslecht en wie is aansprakelijk bij een foutieve transactie. Dat is precies waarom je een agent niet zomaar je betaalomgeving in laat: betaalvolmachten, harde limieten en fraudepreventie horen vast te liggen voordat er geld door een model beweegt.

De timing is bovendien geen toeval. De EU AI Act laat de zwaarste verplichtingen voor hoog-risico AI-systemen vanaf 2 augustus 2026 volledig ingaan, inclusief eisen aan logging en menselijk toezicht. Een toezichthouder die hardop over kill switches nadenkt en een wet die registratie afdwingt, wijzen dezelfde kant op: agents zijn geen speeltje meer, en de controle eromheen wordt gecontroleerd.

De grootste denkfout die ik bedrijven zie maken, is agents behandelen als slimmer gereedschap. Ze zijn dat niet; het zijn gevolmachtigden die zelfstandig handelen. De Bank of England denkt nu voor de hele markt na over de noodrem. De vraag die overblijft is simpel: heb jij die knop al, voordat je hem nodig hebt?