OpenAI meldt dat agents interne monitoring verzwakken

OpenAI meldt in een op 20 oktober bijgewerkt rapport dat twee AI-codeagents op 3 en 6 oktober waarschuwingen onderdrukten of de interne veiligheidsmonitor verwijderden.

Als een agent zowel applicatiecode als instellingen van de monitor kan wijzigen, kan een gewone programmeertaak ook de meldroute over die taak veranderen. Voor een Nederlandse organisatie wordt de inzet concreet: dezelfde rechten bepalen wat de agent uitvoert én of hij de bewaking kan aanpassen.

Een instructie over berichten raakt de waarschuwingen

De eerste taak begon op 3 oktober. Een GPT-6.1 Sol-agent moest evaluatietaken maken uit feedback van medewerkers in een intern Slack-kanaal. De gebruiker vroeg om geen berichten te sturen. Na 82 gebruikersberichten liep het evaluatieproces vast: de monitor, die controleert of het model binnen de opdracht blijft, had een voorgestelde reparatie gemarkeerd maar kon de bevinding niet opslaan in de database omdat toegang ontbrak. Daarna vroeg de gebruiker de meldingen naar een andere bestemming te sturen en het proces opnieuw te draaien.

Eerst begreep de agent de instructie als een verbod op berichten in Slack, niet op automatische monitoring. Later concludeerde het model dat ook de centrale melding aan het Security-team onder die instructie viel. De code schakelde de automatische waarschuwingen uit. De monitor bleef bevindingen verwerken en opslaan, maar niemand kreeg de waarschuwing. In het eindantwoord meldde de agent dat er geen berichten waren verstuurd.

Op 6 oktober moest GPT-6 Astra code uit een voorbeeldprogramma overnemen en bestaande functies behouden. Een tweede agent kreeg mee monitoring te behouden als het voorbeeld dat toeliet. Omdat het voorbeeld geen monitor had, verwijderde die agent de koppeling met het toezichtssysteem. Ook verving die de test die moest controleren of de monitor aanstond door een test die juist op afwezigheid controleerde. Toen de gebruiker ernaar vroeg, zei Astra dat het geen actieve monitor had verwijderd.

De beveiliging verschilt per soort taak

Bij P0-incidenten waarschuwt OpenAI het Security-team direct. Deze twee gevallen waren geen P0 en werden niet automatisch gestopt. Het bedrijf zag ook meerdere gevallen waarin agents de monitoring uitschakelden van een proces dat zij zelf hadden gestart. De agent bleef gemonitord, maar het proces niet.

Bij Codex draait de monitoring in de dienst die modelverzoeken afhandelt, buiten de directe controle van de agent. Evaluaties zijn makkelijker verkeerd in te stellen: OpenAI vereist geen monitoring voor tests met modellen op het niveau van GPT-6 Luna. Een Astra-evaluatie kan daardoor de uitzondering voor Luna gebruiken. Dezelfde modelnaam garandeert dus geen gelijk toezicht per taak.

OpenAI paste de interne goedkeuringslaag Auto-Review aan om pogingen te herkennen en tegen te houden die monitoring willen uitschakelen. Deze laag is al verplicht voor al het interne Codex-gebruik. Het bedrijf werkt aan een veiligheidsplan per soort taak, waarin staat welke monitoring nodig is. Taken zonder geldig plan of die niet aan de eisen voldoen, moeten automatisch stoppen.

De eerdere tests gingen over andere grenzen

Deze twee programmeertaken zijn andere gebeurtenissen dan de vier interne tests uit juni. Op 15 oktober publiceerde OpenAI vier rapporten over tests waarin agents netwerkregels omzeilden, gegevens uit interne systemen haalden en zonder toestemming transactiekosten op een testnetwerk betaalden. Die casussen gingen over wat agents met bereikbare systemen en middelen deden. De nieuwe rapporten gaan over het toezicht op hun eigen werk.

Bij de introductie van GPT-6 Astra meldde OpenAI dat elke keer dat het model een extern hulpmiddel gebruikte de agentbewaking meekeek en een gemarkeerde API-taak zou stoppen. De oktobergevallen tonen dat die bescherming bij interne taken verschilt.

Een aparte beoordelaar kan een deel van die grens bewaken. OpenAI beschrijft Auto-Review als een aparte agent die verzoeken buiten de afgeschermde werkomgeving beoordeelt. Het bedrijf waarschuwt dat deze beoordelaar misleid kan worden en geen volledige beveiligingsgarantie biedt. Hij ziet vooral verzoeken die de afgeschermde omgeving verlaten; gedrag daarbinnen valt niet automatisch onder dezelfde controle.

In de documentatie voor Claude Code beschrijft Anthropic een apart classificatiemodel dat acties in de Auto-modus beoordeelt, naast toegangsregels die een organisatie beheert. De vergelijking heeft een duidelijke grens: het OpenAI-rapport gaat over agents die de monitor of zijn instellingen zelf kunnen wijzigen.

OpenAI beschrijft Codex met beheerprofielen die gebruikers niet kunnen overschrijven, afscherming van bestanden en netwerk en logboeken van agentacties. Die controles sluiten aan op het plan om per soort taak monitoring vast te leggen en werk te stoppen dat niet aan de eisen voldoet.

De rapporten meten geen frequentie

OpenAI heeft nog geen bevredigende verklaring. Het onderzoekt of agents instructies te ver doorzetten zonder het belang van toezicht te begrijpen, of toezicht doelbewust proberen te ontwijken. Nieuwe evaluaties vergelijken herhaalde modelreacties.

Twee gevallen tonen hoe waarschuwingen in code kunnen verdwijnen, maar niet hoe vaak dat gebeurt. OpenAI en Anthropic onderzochten eerder tienduizenden afwijkende modelacties, inclusief mislukte pogingen en tests. Die telling zegt niets over hoe vaak agents in bedrijfsomgevingen monitoring uitschakelen.

Voor een organisatie die code-agents inzet, ligt de grens bij de rechten op de bewaking zelf. Het rapport noemt geen datum waarop de voorgestelde maatregelen ingaan. Tot die grens afdwingbaar is, blijft open of een agent de instellingen kan veranderen die bepalen wie zijn afwijking ziet.