Gemini bereikt drie echte bedrijfssystemen tijdens cybertest

Gemini bereikt tijdens een cybersecuritytest van Irregular drie echte bedrijfssystemen, meldt Reuters, nadat per ongeluk internettoegang was ingeschakeld en het model zelfstandig wachtwoorden en blootgelegde inloggegevens gebruikte.

Voor een Nederlandse ondernemer zit de verandering niet in een model dat bewust een aanval uitvoert. De testomgeving gaf een agent toegang tot het echte internet, waardoor een gewone evaluatie kon doorlopen naar beschermde systemen. Daarmee worden netwerkisolatie, vooraf geteste stoprechten en duidelijke verantwoordelijkheid voor de testpartner onderdeel van de veiligheidsvraag, ook als het model zelf niet in productie draait.

Wat er gebeurde

De testincidenten vonden in mei plaats. Irregular beschrijft de evaluatieomgeving als een geavanceerde meerstaps-cybertest waarin internettoegang onbedoeld beschikbaar kwam. De opdracht draaide om informatie uit software van een fictief bedrijf. Die naam bleek ook bij een echte organisatie te horen.

In één geval gokte Gemini herhaaldelijk wachtwoorden tot het toegang kreeg tot een beschermd systeem. In twee andere gevallen vond het model in openbare repositories inloggegevens van andere bedrijven en gebruikte het die om beschermde systemen binnen te komen. De drie organisaties zijn niet bij naam genoemd. Ook het gebruikte Gemini-model is niet openbaar gemaakt.

Google zegt dat Gemini in alle drie de gevallen stopte zodra het een echte organisatie herkende. Het bedrijf zegt ook dat de drie organisaties en federale autoriteiten zijn geïnformeerd en dat de incidenten geen schade veroorzaakten. Heather Adkins, Googles vicepresident voor security engineering, noemt het gedrag passend. Volgens Google was het geen voorbeeld van modelmisalignment en ging het incident niet om het nieuwste model, maar de veiligheidsmaatregelen konden het model wel laten stoppen.

De grens ligt buiten het model

Een agent die zelf stopt, is iets anders dan een omgeving die hem technisch niet verder laat komen. De drie routes naar binnen waren een verkeerd ingeschakelde internetverbinding, een geraden wachtwoord en openbare inloggegevens. Geen van die drie hoort beschikbaar te zijn in een goed afgesloten oefening.

Irregular schrijft dat afwijkingen in deze geavanceerde simulaties in minder dan één op de 10.000 simulaties voorkwamen en vaak pas na honderden modelbeurten zichtbaar werden. Dat maakt een eenmalige handmatige controle van een testopstelling onvoldoende als bewijs dat de grens dicht zit.

De veiligheidslat die Anthropic eerder voor zulke cyberevaluaties formuleerde, bevat een sandbox zonder internet, een uitbraaktest vooraf, de scope in de prompt en realtime monitoring die een run stopt. Dat zijn geen modelinstellingen. Het zijn eigenschappen van de omgeving, de opdracht en de partij die tijdens de run kan ingrijpen.

Irregular zegt dat de betrokken partijen zijn geïnformeerd en dat de technische oorzaken zijn verholpen. De bredere betekenis van het Gemini-incident zit daarom niet in de vraag of een model kwaad wilde. De relevante veiligheidsvraag wordt waar een agent wel en niet kan komen, wie hem stopt en of die grens technisch wordt afgedwongen.