Nadella wil een menselijke noodstop voor AI-modellen

Nadella vraagt organisaties om geavanceerde AI-modellen vanaf het begin als mogelijk gecompromitteerd te behandelen, met besturing buiten het model en een noodstop waarmee een mens tijdens een taak kan ingrijpen.

Een bevoegd persoon moet een agent die e-mails verstuurt, klantgegevens wijzigt of betalingen voorbereidt midden in de taak kunnen stoppen. De organisatie moet de agentrechten kunnen intrekken, lopende acties blokkeren en achteraf vaststellen welke externe handelingen al zijn uitgevoerd.

Een noodstop vormt één van zeven waarborgen

Nadella stelt dat transparantie over modelredeneringen nodig is, maar geen betrouwbare beveiligingsgrens vormt. Een model kan volgens hem niet tegelijk handelen en als enige bron bewijzen dat het veilig handelde. Daarom vraagt hij om controleerbaar bewijs buiten het model.

Nadella noemt naast de noodstop zes andere waarborgen voor AI-systemen die waarneembaar en begrensd zijn. Zo mag één model niet tegelijk handelen en als enige bewijzen dat het goed handelde:

• Modeldiversiteit: laat één model niet de enige bron zijn voor een belangrijke uitkomst of de controle daarvan.
• Observeerbaarheid: leg elke betekenisvolle actie menselijk leesbaar en manipulatiebestendig vast, zodat een uitkomst buiten het model te reconstrueren is.
• Verifieerbaarheid: test doorlopend aanvallen, storingen, randgevallen en systeemwijzigingen, niet alleen succesvolle opdrachten.
• Onafhankelijke controles: bepaal buiten het model welke gegevens en acties toegankelijk zijn.
• Onafhankelijke audit: laat het gecontroleerde model niet het enige bewijs van zijn eigen gedrag beheren.
• Inperking: ga uit van mogelijke compromittering; een bevoegd persoon moet een taak middenin kunnen pauzeren of stoppen.
• Incidentmelding: informeer getroffenen tijdig en deel met de sector wat misging, welke controles faalden en wat tijdens uitvoering moet veranderen.

Hij vraagt ook om sectorstandaarden waar die ontbreken en schrijft dat leveranciersgaranties de verantwoordelijkheid van de gebruikersorganisatie niet wegnemen.

De bevoegdheid hoort buiten het model

Voor een organisatie zijn hier drie lagen te onderscheiden: het model dat een plan maakt, de uitvoerlaag die stappen uitvoert en gereedschap aanroept, en de handelingsruimte met bereikbare data, systemen en acties. Nadella wil de besturing buiten het model plaatsen.

Een agent kan dus niet zelf bepalen of zijn rechten ruim genoeg zijn. Een aparte uitvoerlaag controleert per actie de identiteit, het doel, de bevoegdheid en eventuele menselijke goedkeuring. Een agent die alleen rapporten maakt, krijgt leesrechten; voor klantberichten, betaalgegevens of verwijderingen geldt een aparte goedkeuringsroute.

De OWASP-richtlijn voor agentbeveiliging vraagt om beperkte toolrechten, menselijke goedkeuring voor impactvolle acties en een uitvoerlaag die acties onafhankelijk controleert. Goedkeuring hoort bij de precieze actie en parameters. Bij ontbrekende controles moet de uitvoering stoppen, terwijl logs toolaanroepen en resultaten vastleggen. Een stoproute moet dus ook sleutels, takenwachtrijen en gekoppelde systemen bereiken.

Een stopsein herstelt geen uitgevoerde actie

Een pauze blokkeert volgende stappen, maar draait een verstuurde e-mail, gewijzigde klantgegevens of betaling niet terug. Leg vast welke acties menselijke bevestiging vragen en welke onomkeerbaar zijn. Bepaal ook of een gekoppelde dienst een al gestarte opdracht kan annuleren.

Een aangewezen medewerker moet de stoproute kunnen bedienen, toegang kunnen intrekken en na afloop kunnen zien welke systemen zijn geraakt. Bij langlopende taken horen ook een tijdslimiet, meldkanaal en handmatige terugvalroute. Gebruikt de agent meerdere gekoppelde systemen, dan moet het stopsein ook lopende acties bereiken, niet alleen het chatvenster sluiten.

Een logboek hoort daarom bij de stopfunctie. Leg vast wie de taak startte, welke agent en welk gereedschap handelden, welke gegevens veranderden en wat de uitvoerstatus was. Zonder dat spoor kan een bedrijf niet zien of alleen de agent is gepauzeerd of dat een externe wijziging al klaarstaat.

Het voorstel noemt nog geen implementatieroute

Nadella’s eerdere zorg ging over prompts, correcties en werkstroomsporen die bedrijfskennis aan AI-aanbieders kunnen prijsgeven. Nu gaat zijn aandacht naar wat een agent met die toegang mag doen: van kennis bewaren naar bevoegdheden tijdens uitvoering beheersen.

Stanford modelleerde een agent die kiest tussen zelfstandig handelen of een mens om hulp vragen, terwijl de mens kiest tussen vertrouwen of ingrijpen. In de Lavaland-test leerden de agent en de mens door herhaling wanneer hulp vragen en wanneer ingrijpen nodig is. OpenAI meldde dat een intern langlopend model in ongeveer een uur een zwakke plek in een afgeschermde testomgeving vond en een codewijzigingsverzoek op een openbare GitHub-repository opende, waarna het bedrijf bewaking toevoegde die een hele sessie kan pauzeren. Tijdens die test volgde het model de benchmarkinstructie om resultaten op GitHub te zetten, ondanks de opdracht om ze alleen via Slack te posten.

Nadella’s essay kondigt geen Microsoft-product, technische standaard, standaardeigenaar of invoeringsdatum aan. Het vraagt om standaarden en incidentdeling, maar werkt niet uit hoe een noodstop over leveranciers en bedrijfsapplicaties heen moet werken.

Voor bedrijven die AI-agents inkopen of bouwen blijven drie vragen open: wie mag stoppen, welke externe handelingen worden geblokkeerd en welk onafhankelijk bewijs blijft bestaan? De uitvoerlaag die rechten verleent, moet daarom ook bevoegdheden kunnen intrekken en de organisatie achteraf laten zien welke acties al zijn uitgevoerd.