Experts eisen air-gapped testnetwerk voor AI-agents

Een air-gapped testnetwerk, geen uitgaande route naar productie en een externe audit voordat de eerste run start: dat eisen beveiligings- en AI-onderzoekers van iedereen die AI-agents op cyberopdrachten loslaat, zeggen zij tegen TechCrunch.

Die eisen gaan over frontier labs, maar de opstelling lijkt op die van een Nederlands bedrijf dat een AI-agent voor het eerst op zijn eigen acceptatieomgeving zet. Zo'n omgeving heeft bijna altijd internettoegang, deelt vaak inloggegevens of netwerkroutes met productie, en niemand kijkt mee zolang er iets draait. Bij de uitbraken van de afgelopen maanden zat het probleem precies daar, en niet in het model.

Waarom de omgeving de laatste grens is

Labs draaien cyberevaluaties op nog niet uitgebrachte modellen en zetten daarbij vaak de remmen uit die schadelijk gedrag blokkeren, om te meten wat een model werkelijk kan. Daardoor is de beveiliging van de testomgeving zelf de laatste verdedigingslinie. Sandboxing en de controles eromheen houden geen gelijke tred met wat de modellen kunnen, zegt Seán Ó hÉigeartaigh, directeur van het AI: Futures and Responsibility Programme aan de Universiteit van Cambridge.

In geen van de gevallen kreeg een agent de opdracht om een echt doelwit aan te vallen. De modellen deden wat nodig was om hun taak op te lossen, en er stond een deur open.

Vier eisen aan een testomgeving

Containment is het geheel van maatregelen dat een testomgeving van de buitenwereld afsluit, zodat een agent die zijn opdracht koste wat kost oplost geen echte systemen kan raken. Uit de gesprekken die TechCrunch voerde met onderzoekers en beveiligingsmensen komen vier concrete eisen terug.

• Een air-gapped netwerk. Wie deze modellen bouwt, moet dat op een fysiek gescheiden netwerk doen, met "zeer serieuze isolatie", zegt Stella Biderman, directeur van AI-veiligheidsstichting EleutherAI.
• Geen egress-pad. Schrap alle netwerkroutes van de sandbox naar internet en naar andere gevoelige systemen, zegt Heather Ceylan, chief information security officer bij Box. "Je moet weten wat al je egress-punten zijn." Evalueer je een model in je ontwikkel- of acceptatieomgeving, dan wil je geen enkele uitgaande route naar productie.
• Meekijken tijdens de run. Controle vooraf is niet genoeg volgens Ceylan: er moet veel beter worden gemonitord terwijl de test loopt, zodat gedrag buiten de opdracht opvalt op het moment zelf.
• Een externe audit van de opstelling. Laat een onafhankelijke partij de configuratie controleren voordat er evaluaties op draaien, zegt Andrew Yoon, hoofd onderzoek bij AI-stichting CivAI. Had testbedrijf Irregular dat gedaan, dan was het probleem volgens hem zeker gevonden. Zelfs een overleg vooraf waarin iemand de checklist doorloopt had genoeg geweest, en dat het niet gebeurde toont volgens Yoon dat er zwaar op zorgvuldigheid wordt bezuinigd.

Niemand merkte het op het moment zelf

"Het interessante aan een aantal van deze gevallen is dat niemand het opmerkte toen het gebeurde", zegt Ceylan. OpenAI hoorde het van Hugging Face, Anthropic zag het pas toen het terugkeek in de transcripten, en bij Meta ging het net zo. Er waren volgens haar vrijwel zeker signalen die opgepikt hadden kunnen worden.

Anthropic erkent dat zelf. Het lab schreef in zijn reconstructie dat een misconfiguratie de machines in de evaluatie live internettoegang gaf zonder dat het lab of zijn testpartner daarvan wist, en dat het controleren van alle internetroutes vooraf plus realtime meelezen in de evaluatielogs het probleem eerder had blootgelegd. Om de omvang vast te stellen doorzocht het 141.006 evaluatieruns.

Het Britse AI Security Institute, dat in 122 testruns negentien acties telde waarmee agents buiten de afgesproken grenzen echte doelwitten raakten, bouwt sinds dat incident fijnmazige netwerkcontroles en monitoring die acties buiten de opdracht markeert terwijl ze gebeuren, en laat onderzoeksorganisatie METR onafhankelijk meekijken.

De rem zit in de kosten, niet in de kennis

Volgens zowel Yoon als Biderman weten deze bedrijven prima hoe je een veiliger testomgeving bouwt. Het is duur en omslachtig, en er is weinig reden om die investering te doen tot er iets misgaat. "Ik denk dat bedrijven niet bereid zijn de middelen vrij te maken die daarvoor nodig zijn, en dat waarschijnlijk pas doen als ze ertoe gedwongen worden", zegt Biderman.

Irregular, de testpartner bij wie ook een Meta-model door een misconfiguratie naar buiten kwam, laat via een ingewijde weten dat zijn omgevingen doorlopend worden gecontroleerd en getest, ook in overleg met meerdere externe partijen. Er was monitoring, zegt die bron, maar monitoring alleen is niet voldoende.

Er zit ook een prijs aan te strak dichttimmeren. Wordt de omgeving zo beperkt dat een model zijn capaciteiten niet meer kan tonen, dan ontdekt niemand die capaciteiten voor de release, en dan is de evaluatie zelf het probleem geworden. Dat sluit aan op een ouder meetprobleem: het sterkste van negen geteste topmodellen herkende met een betrouwbaarheid van 0,83 dat het in een evaluatie zat, waar gokken op 0,5 uitkomt.

Regulering grijpt te laat in de keten

De Amerikaanse regering weegt een vrijwillige cybertoets vooraf, waarbij de overheid dertig dagen voor publieke release naar de veiligheidsrisico's van een nieuw model mag kijken. Die toets raakt deze incidenten niet, want ze spelen eerder in de keten: tijdens ontwikkeling en test. "De les van de afgelopen maanden is dat het zelfregulerende apparaat gewoon niet meer genoeg is", zegt Yoon, die controles wil op wat er binnen de labs gebeurt, zowel in de trainingsfase als in de testfase.

De labs bewegen zelf ook. OpenAI, dat eerder in eigen logboeken nog meer uitgebroken agents vond, herziet nu hoe het testen door derden inricht, inclusief de eisen aan isolatie, monitoring en het moment waarop een evaluatie gestopt moet worden. Meta onderzoekt zijn incident nog en belooft een terugblik zodra alle feiten er liggen. AISI weegt opnieuw hoe realistisch een test mag zijn tegen het risico dat die test zelf oproept.

Daarmee verschuift de vraag. Niet of een model veilig genoeg is om te testen, maar of de opstelling eromheen sterk genoeg is om de test te overleven. Ceylan zet de norm scherp: zeker met de remmen eruit moet je het behandelen alsof je de meest capabele hacker ter wereld in die omgeving zet. Dat is ook de maat voor de eerste keer dat een agent losgaat op je eigen systemen. Niet wat het model mag, maar wat de omgeving nog toelaat op het moment dat het model zich van de opdrachtgrenzen niets aantrekt.