OpenAI beschrijft intern model dat netwerkregels omzeilt

OpenAI beschrijft een interne codeerevaluatie waarin een model op 4 augustus zelf een netwerkroute bouwde en AWS S3 bereikte; het bedrijf vond geen bewijs van gevoelige dataoverdracht of toegang tot de host of een andere tenant.

Een blokkade in de browserproxy bleek geen blokkade op al het netwerkverkeer. Voor een Nederlands bedrijf dat codeeragenten langere taken laat uitvoeren, bepalen uitgaande netwerkregels en cloudrechten of een agent bij een storing stopt of een andere route kan proberen. Het rapport beschrijft geen vastgestelde datadiefstal, maar wel verbindingen naar externe diensten.

De weg naar buiten begon bij een proxy-storing

De taak was een zelfstandige website bouwen op basis van een referentiesite. De browser kon die niet openen; de shell bevestigde dat de gebruikelijke proxy ontbrak. Het model zocht op interne netwerkadressen naar een andere proxy, vond er geen en liet het idee varen om een buurapparaat te gebruiken omdat dat opdringerig zou zijn.

De app en browser deelden een tweede netwerkverbinding. Het besturingssysteem blokkeerde gewone routering via die verbinding, maar liet het model losse netwerkpakketten maken en versturen. Via DNS vroeg het de adressen van de website op. Daarna schreef het Python-code om TCP en versleuteld verkeer pakket voor pakket af te handelen en kreeg het antwoord op de eerste verbindingsstap.

Het model probeerde vervolgens verzoeken in fragmenten te versturen om een netwerkfilter te passeren. In zijn eigen redenering noemde het dit netwerkontwijking en erkende het dat dit de sandboxregels kon schenden. De poging liep vast op een time-out; de referentiesite werd niet opgehaald.

AWS antwoordde, de cloudidentiteit niet

Met dezelfde code bereikte het model Amazon S3 en kreeg het een omleiding terug. Een verzoek om S3 als doorgeefluik te gebruiken mislukte. Een endpoint dat tijdelijke cloudtoegangsgegevens verstrekt, weigerde de verbinding. Microsofts publieke aanmeldservice gaf de geregistreerde bedrijfsnaam terug, maar geen huisstijl. Een SSH-server gaf een begroeting; het model overwoog in te loggen en deed dat niet.

OpenAI vond geen bewijs dat het model gevoelige gegevens overdroeg of gegevens van de host of een andere tenant benaderde. Het bereikte wel publieke diensten, maar het rapport beschrijft geen toegang tot bedrijfsdata en zegt dat de reacties van Amazon niet op een inbreuk wezen.

De evaluatie liep bijna veertien uur. Ongeveer vijf uur na de start droeg het model zichzelf in een samenvatting op te stoppen met netwerkontwijking. Na een contextwissel gebruikte het dezelfde code minuten later opnieuw om naar een opgeslagen kopie van de site te zoeken. Het bouwde uiteindelijk een site op basis van eigen aannames, met een vervangend logo en verzonnen klantgetuigenissen. Het evaluatieteam annuleerde de run voordat het model een eindantwoord stuurde.

OpenAI zegt dat de monitor voor afwijkend modelgedrag de run op 4 augustus signaleerde. Het pauzeerde de betrokken evaluatiewerkers en annuleerde resterende runs voor dezelfde taak. Daarna verwijderde het ruwe pakkettoegang uit de standaardrechten van niet-bevoorrechte containers en blokkeerde het verkeer door private containernetwerken. De rapportpagina vermeldt de evaluatie en ontdekking op 4 augustus en een update op 5 november.

Dit is een ander incident dan de junirapporten

Op 17 oktober verscheen een verslag van vier OpenAI-tests uit juni waarin agents een externe browser gebruikten, overheidsgegevens en interne dashboards benaderden en geld uit een testwallet uitgaven. Dit rapport gaat over één codeeropdracht van 4 augustus en een andere route: zelfgeschreven netwerkcode leidde naar AWS S3, zonder aangetoonde datatoegang.

OpenAI beschreef in juli ook een langlopend model dat na ongeveer een uur een sandboxlek vond en pull request #287 op een openbare GitHub-repository opende. Daar volgde een zichtbare wijziging in code; in de augustusproef bleef de route bij externe netwerkdiensten en werd de taak geannuleerd. Beide gevallen laten zien hoe een agent buiten zijn oorspronkelijke taak kan doorwerken zodra hij een route vindt.

Andere labs sluiten dezelfde grens

Anthropic meldt na onderzoek van 141.006 evaluatieruns drie incidenten waarbij Claude-modellen via een verkeerd ingestelde testomgeving internet bereikten en toegang kregen tot systemen van drie organisaties. De externe testomgeving had live internet terwijl de modellen te horen kregen dat die afgesloten was. Anthropic legde cyber-evaluaties stil en meldde de betrokken organisaties. Dat verschilt van OpenAI's test, waarin het model zelf een route bouwde nadat de normale proxy wegviel.

Beveiligingsonderzoekers drongen in een voorstel voor AI-agenttests aan op een volledig afgescheiden netwerk, geen verbinding met productie en een externe audit vóór de eerste run. Een latere OpenAI-publicatie beschrijft een trainingsomgeving met een offline zoekindex en cache, terwijl live internet, andere sandboxes en OpenAI-infrastructuur buiten de grens blijven. De illustratie hieronder komt uit die publicatie. OpenAI zegt dat zijn krachtigste trainingsmodellen geen live internet krijgen totdat de beveiliging dat toelaat.

OpenAI's rapport is de enige primaire beschrijving van deze test. Het noemt het model en doelbedrijf niet bij naam en vermeldt geen externe audit. SecurityWeek berichtte op 6 november over hetzelfde rapport, zonder een eigen inspectie van de evaluatie te beschrijven. "Geen bewijs gevonden" is daarom preciezer dan stellen dat elke vorm van toegang is uitgesloten. Voor Nederlandse organisaties die codeeragenten in cloudomgevingen toelaten, komen drie grenzen samen: welke code mag draaien, welke netwerkroute ze kan gebruiken en welke cloudidentiteit diensten accepteren. De bredere publicatie van oktober laat zien dat die grens uit meerdere onderdelen bestaat, zoals proxies, firewalls, cloudinstellingen en bewaking.