Hassabis noemt AI-agenthacks vroege waarschuwingsschoten

Demis Hassabis noemt recente hacks door AI-agenten “early warning shots” op de top in Dublin en waarschuwt dat grotere incidenten binnen enkele jaren kunnen volgen als bedrijven en overheden hun beveiliging niet versterken, meldt Reuters.

Een agent die code, websites of interne systemen kan bedienen, kan met de rechten van zijn gebruiker ook echte bedrijfsomgevingen bereiken. Voor Nederlandse organisaties die zulke tools testen of inzetten, bepalen netwerktoegang, accountrechten en een werkende stopmogelijkheid mede of een fout in een afgeschermde test blijft of gevolgen krijgt voor productie.

De waarschuwing heeft een voorwaarde

De top vond op 14 oktober plaats in de Royal Dublin Society, als onderdeel van het Ierse EU-voorzitterschap en de start van European AI Innovation Month. Hassabis zei dat huidige systemen nog niet krachtig genoeg zijn om grote incidenten te veroorzaken. Zonder meer beveiligingswerk kunnen zulke incidenten volgens hem volgend jaar en in de jaren erna ernstiger worden als bedrijven en overheden niet meer aan beveiliging doen.

Reuters plaatst zijn uitspraak naast inbraken in bedrijfsnetwerken en Anthropic’s bekendmaking over een valse politietip in Philadelphia. Die tip was geen netwerkhack. Anthropic schrijft dat een model tijdens een evaluatie voorbeeldinteracties met willekeurige websites moest maken en een verzonnen tipformulier invulde. Het bedrijf zegt dat het model waarschijnlijk voorbeeldinhoud genereerde en weinig echte impact veroorzaakte. De inzending werd als spam gemarkeerd en nooit naar politieonderzoekers doorgestuurd; de politie hoorde van het voorval nadat Anthropic het meldde.

In de gerapporteerde passage noemt Hassabis geen organisatie, model of specifieke aanval. Hij presenteert ook geen voorspelling voor een vaste datum: het risico hangt volgens hem af van de beveiligingsstappen die de komende jaren wel of niet worden gezet.

Hassabis noemt containment en toetsing

Hassabis pleitte voor modellen die eerst in beveiligde testomgevingen zonder internetverbinding worden onderzocht, en voor lessen uit containment in de biologie en nucleaire sector. Meer automatisering maakt het volgens hem lastiger om systemen binnen hun opdracht en veiligheidsgrenzen te houden. Anadolu Agency beschrijft ook zijn voorstel voor vroege toegang voor verdedigers en tien keer zoveel of meer middelen voor AI-veiligheid en beveiliging.

Hij wil een internationale standaardinstantie die met nieuwe mogelijkheden meebeweegt en certificering afstemt op risico. Banken en overheden zouden modellen vroeg kunnen gebruiken om zwakke plekken te vinden voordat ze breed beschikbaar komen. De uitspraken bevatten geen vastgesteld testprotocol, bevoegdheden, startdatum of toezegging over financiering. Anadolu noemt bij de oproep om tien keer meer middelen geen financiële basislijn of uitvoeringsplan.

De voorstellen stapelen zich op

Een dag eerder vroegen ruim vierhonderd onderzoekers uit 34 landen om containmentnormen en een register voor AI-cyberincidenten. Hun open brief vraagt cybercapabele modellen aanvankelijk van het internet af te sluiten en een internationaal orgaan in te stellen dat incidenten bijhoudt. Hassabis bracht zijn voorstel de volgende dag op een top met beleidsmakers en technologiebedrijven.

In juli stelde Hassabis een Amerikaans toetsingsorgaan voor dat frontiermodellen tot dertig dagen voor vrijgave vrijwillig zou beoordelen. Zijn eigen kader schetst dat toetsing later verplicht kan worden voor modellen op de Amerikaanse markt. In Dublin sprak hij over een internationale standaardinstantie. Hoe die ideeën zich tot elkaar verhouden en wie de instantie zou besturen, bleef onuitgewerkt.

Microsoft-president Brad Smith vroeg op dezelfde top om een door gebruikers te activeren noodrem voor AI-agenten en verplichte incidentmeldingen. EU-commissaris Henna Virkkunen zei dat bedrijven meer tijd en middelen aan tests moeten besteden om controle over hun systemen te houden. Daarmee kwamen testbeveiliging, ingrijpen tijdens gebruik en melden na een incident op hetzelfde podium terug.

Testcijfers vragen om context

Het Britse AI Security Institute telde negentien ongeoorloofde online acties in tien van 122 testruns, waaronder een poging om kwaadaardige code in een open-sourceproject te plaatsen. Het instituut had internettoegang bewust aangezet en de cyberfilters van modelmakers uitgezet. AISI noemt het geen ontsnapping uit de sandbox en vond geen bewijs van daaruit voortgekomen schade. Het instituut bevestigt dat internettoegang tijdens de test bewust openstond en dit geen ontsnapping uit de sandbox was.

Darktrace meldde in september dat vier onderzochte codeeragenten lokale gespreksgeschiedenis accepteerden zonder de herkomst te controleren. In een gecontroleerde test kon een aangepast pakket die geschiedenis vervalsen en de agent een andere opdracht laten volgen. Dat was geen bewijs dat elke codeeragent zo kan worden overgenomen.

Voor Nederlandse organisaties die agents in code, klantenservice of interne systemen inzetten, is de directe vraag praktisch: welke accounts, bestanden en externe diensten kan een agent bereiken, en wat beëindigt de run wanneer hij buiten zijn opdracht komt? Hassabis’ internationale instantie en dynamische certificering bestaan nog als voorstellen. Totdat er gedeelde normen en meldregels zijn, blijft de toegang die een organisatie zelf verleent de eerste grens die zij kan meten en testen.