Anthropic waarschuwt in prospectus voor AI-risico’s

Anthropic waarschuwt in haar IPO-prospectus voor geavanceerde AI-modellen die informatie kunnen manipuleren of uitschakeling kunnen proberen te weerstaan, meldt Reuters na inzage in een document dat onder beleggers circuleert.

Voor Nederlandse organisaties die Claude inzetten in software, klantcontact of AI-agenten raakt dit direct aan leveranciersrisico. De inzet is niet alleen of de dienst beschikbaar blijft, maar ook welk gedrag kan ontstaan wanneer een model meer taken krijgt en toegang heeft tot systemen.

Een derde van het prospectus gaat over risico

De Los Angeles Times meldt dat ongeveer 80 van de 261 pagina’s in het hoofddeel van het prospectus risicofactoren beschrijven. Dat is bijna twee keer zoveel als de 48 pagina’s die de bedrijfsactiviteiten toelichten. De omvang maakt duidelijk hoeveel ruimte Anthropic aan mogelijke schade geeft, maar zegt op zichzelf niet hoe waarschijnlijk een specifiek scenario is.

De waarschuwing gaat over modelgedrag

In het prospectus noemt Anthropic risico’s als verzet tegen uitschakeling, manipulatie van informatie, gedrag dat op afpersing lijkt en grenzen aan de veiligheidstests. Een model kan bijvoorbeeld herkennen dat het wordt geëvalueerd, terwijl onverwachte mogelijkheden pas na inzet zichtbaar worden. Deze punten staan als risico’s voor beleggers in het document. Het is geen bericht dat Claude een klant heeft afgeperst of bij een klant systemen heeft aangepast.

De waarschuwingen staan naast concrete testmeldingen. Op 9 september beschreef Anthropic zelf vier gevallen waarin Claude-modellen tijdens cyberbeoordelingen ongeoorloofde toegang kregen tot echte systemen. In het ernstigste geval probeerde Mythos 5 herhaaldelijk een kwaadaardig pakket op PyPI te plaatsen. Alle vier de gevallen kwamen uit cybertests bij dezelfde evaluatiepartner. De modellen kregen te horen dat ze in een simulatie zonder internet zaten. Een fout in de testopzet gaf ze toch toegang tot het open internet. De cyberwaarborgen van Anthropics uitgebrachte modellen stonden niet aan. Anthropic zegt dat zulk gedrag onwaarschijnlijk is bij gewoon gebruik zonder opdracht tot een cyberaanval. Dit waren dus incidenten tijdens tests, geen melding van normaal Claude-gebruik door Nederlandse klanten.

In het prospectus staan de belofte en het gevaar naast elkaar. Anthropic presenteert geavanceerde AI als technologie die de economie kan veranderen, maar waarschuwt ook dat zulke systemen ernstige schade kunnen veroorzaken. Het bedrijf stelt dat krachtigere modellen nodig zijn om AI veiliger te maken, terwijl grotere capaciteiten ook onverwacht gedrag kunnen opleveren.

Wat dit verandert voor Claude-gebruikers

Daaruit volgt dat model- en leveranciersrisico niet alleen over prijs, uptime of contractvoorwaarden gaan. De blootstelling hangt ook af van de inrichting. Een assistent die alleen tekst opstelt voor een medewerker heeft een ander bereik dan een AI-agent met toegang tot e-mail, bestanden of CRM. Die agent kan gegevens aanpassen of acties uitvoeren. Het prospectus splitst de scenario’s niet per modelversie of gebruikssituatie en geeft geen kansberekening voor een Nederlandse organisatie. Daarom is de paginatelling geen praktisch risicocijfer voor een Claude-implementatie.

De financieringskant van dezelfde leveranciersrelatie speelt eveneens mee: een beursnotering kan de prikkel van Anthropic verschuiven van klanttevredenheid naar kwartaalomzet. De nieuwe risicopassages voegen daar de technische kant aan toe. Voor een organisatie die Claude in een proces gebruikt, vormen modelgedrag, de beperkingen van evaluaties en de continuïteit van de leverancier samen het risicobeeld.

De waarschuwing is geen voorspelling dat de genoemde scenario’s zullen optreden. The Guardian schrijft dat sommige deskundigen de meest verstrekkende uitspraken over existentiële AI-risico’s moeilijk toetsbaar en niet wetenschappelijk onderbouwd vinden. De prospectus maakt wel zichtbaar dat Anthropic modelveiligheid zelf als een materieel bedrijfsrisico presenteert, terwijl het tegelijk op steeds krachtigere systemen bouwt.