Wetenschappers vragen internationaal toezicht op AI met cybercapaciteiten

Circa 400 onderzoekers uit 34 landen vragen een internationaal orgaan voor geavanceerde AI met cybercapaciteiten, dat containmentnormen vaststelt en incidenten registreert, meldt Reuters.

Voor Nederlandse aanbieders van zulke modellen en organisaties die kritieke infrastructuur beheren, verandert vandaag geen wettelijke plicht. De brief vraagt om een gezamenlijke technische ondergrens voor het testen van cybercapabele modellen en het vastleggen van incidenten. Als overheden het voorstel uitwerken, kan dat later doorwerken in leveranciersnormen en de informatie die organisaties bij een incident krijgen.

De eerste norm raakt testnetwerken

De wetenschappers willen de krachtigste AI-modellen tijdens tests aanvankelijk loskoppelen van externe netwerken en onafhankelijk laten controleren. Zij vragen organisaties die zulke cybercapabele modellen ontwikkelen of testen nu al hoge containmentstandaarden te hanteren. Overheden moeten tegelijk aan een formeel toezichtregime werken. DIGIT.FYI beschrijft de oproep om modellen tijdens ontwikkeling en tests van externe netwerken af te zonderen en hun beveiliging onafhankelijk te controleren.

In gewone taal betekent containment hier dat een model vanuit een testomgeving niet zomaar naar het openbare internet of een bedrijfssysteem kan doorsteken. Dat is relevant omdat een testopstelling met een open netwerkverbinding een cybercapabel model toegang kan geven tot echte systemen. De oproep richt zich op organisaties die zulke modellen ontwikkelen of testen, niet op elk Nederlands bedrijf dat een chatbot of AI-functie gebruikt.

Onder de ondertekenaars die Reuters noemt, staan AI-onderzoekers Geoffrey Hinton en Yoshua Bengio. De beoogde internationale organisatie zou containmentnormen voor de sector vaststellen en een register bijhouden van ernstige beveiligingsincidenten. Na incidenten waarin modellen testbeveiliging omzeilden en externe systemen bereikten, beschrijft AFP de voorgestelde meldroute voor fouten in de afscherming en het bijhouden van een incidentenregister. De onderzoekers willen dat register uiteindelijk openbaar maken, zodat organisaties incidenten kunnen vergelijken en ervan kunnen leren.

Hassabis en Smith leggen andere accenten

In juli stelde Google DeepMind-topman Demis Hassabis een door de industrie gefinancierd, Amerikaans orgaan voor dat de krachtigste modellen tot dertig dagen voor de release zou toetsen. Zijn voorstel begint met vrijwillige beoordeling en kan bij een effectief toetsregime verplicht worden voor toegang tot de Amerikaanse markt. De nieuwe oproep legt meer nadruk op de beveiliging van testomgevingen en op registratie nadat containment faalt.

Microsoft-president Brad Smith wil dat het Verenigd Koninkrijk AI-veiligheidsregels leidt met een noodrem, verplichte incidentmeldingen en toetsing vóór vrijgave. Zijn voorstel vraagt om wettelijke eisen rond het gebruik en de vrijgave van modellen. De wetenschappers willen internationale standaarden voor afscherming en een register dat overheden kunnen gebruiken. Ze zeggen dat vrijwillige veiligheidsafspraken van grote AI-bedrijven niet genoeg zijn. Een maand eerder hadden zes bedrijven, onder wie OpenAI, Anthropic, Google, Meta, xAI en Nvidia, vrijwillige veiligheidsmaatregelen met het Witte Huis afgesproken, zonder formeel handhavingsmechanisme.

De EU heeft al een beperkte meldroute

De Europese AI-verordening verplicht aanbieders van AI-modellen met systeemrisico om ernstige incidenten en mogelijke corrigerende maatregelen zonder onnodige vertraging te melden aan het AI-bureau en, waar nodig, nationale autoriteiten. Die plicht geldt voor een beperkte groep modelaanbieders, niet voor elke organisatie die AI gebruikt. De Europese Commissie gaat bij modellen die tijdens training meer dan 10^25 rekenbewerkingen vergen uit van systeemrisico. Ook modellen onder die grens kan zij aanwijzen. Op 12 oktober meldde de Commissie dat het AI-bureau ernstige incidenten heeft ontvangen en beveiligingsinformatie heeft opgevraagd. Samen met het AI Scientific Panel bereidt het bureau vervolgvragen voor. Het panel beveelt internationale informatiedeling, gemeenschappelijke eisen en gezamenlijke crisisrespons aan.

Een register heeft nog randvoorwaarden

De openbare berichtgeving noemt geen samenstelling, financiering, locatie of startdatum voor het orgaan. Ze legt ook niet vast wie incidenten moet melden of wat als containmentfalen telt. De controle en openbaarheid van meldingen blijven onduidelijk. Een register moet genoeg details delen om patronen te herkennen, zonder kwetsbaarheden of gevoelige infrastructuur bloot te leggen.

De huidige EU-regel legt een meldplicht op aan aanbieders van modellen met systeemrisico; de internationale brief vraagt daarnaast gedeelde technische normen en een gezamenlijke registratie. Voor bedrijven die zulke modellen inkopen of inzetten, kan de praktische impact later zitten in de beveiligingsinformatie en incidentmeldingen die leveranciers delen.

De voorstellen van Hassabis, Smith en de internationale groep richten toezicht op verschillende momenten in de AI-keten: vóór vrijgave, tijdens gebruik, bij het beveiligen van testnetwerken en na een incident. De Europese Commissie werkt intussen met haar bestaande bevoegdheden aan onderzoek en informatie-uitwisseling. Of een internationaal orgaan deze routes kan verbinden, hangt af van afspraken over mandaat, meldregels en bescherming van gevoelige informatie. Voor Nederlandse organisaties wordt daarom relevant welke incidentinformatie leveranciers delen als een model buiten zijn testafscherming komt.