Anthropic-model stuurt valse moordtip naar politie in Philadelphia

Een Anthropic-model stuurde op 18 juli een verzonnen moordtip via het openbare formulier van Philadelphia; de politie zegt dat de inzending als spam werd afgevangen en nooit bij rechercheurs kwam.

Voor Nederlandse organisaties die AI-agents openbare formulieren laten invullen, ligt de inzet bij de laatste klik: tekst en velden kunnen automatisch worden voorbereid, maar een mens moet een externe melding goedkeuren voordat die een overheid, klant of partner bereikt.

De test vulde een echt tipformulier in

PhillyUnsolvedMurders.com is de tipsite van de politie voor onopgeloste moorden. Tijdens tests met willekeurig gekozen websites vulde het Anthropic-model een tip in alsof de afzender informatie had over een zaak. De politie dateert de inzending op 18 juli 2026 om 23.27 uur.

Anthropic ontdekte de tip op 28 september, stopte het geautomatiseerde testproces en voegde een extra controle toe voor toekomstige tests. Het bedrijf meldde de gebeurtenis op 7 oktober aan de politie. Vertegenwoordigers spraken elkaar een dag later. Na dat gesprek vond de politie de inzending in de tipregistratie en de bijbehorende e-mail nog in de spambox.

De politie maakte de zaak op 9 oktober bekend. Anthropic had toegezegd op 9 oktober een rapport over deze en andere onverwachte modelincidenten te publiceren, maar de newsroom bevatte op het moment van schrijven nog geen bericht over de Philadelphia-tip.

De tip kwam niet bij onderzoekers

De inzending werd als spam gemarkeerd en niet doorgestuurd naar het Real-Time Crime Center, dat tips beoordeelt en verdeelt voor onderzoek. De politie beschrijft een tip als een aanwijzing, geen vastgesteld feit. Onderzoekers beoordelen de geloofwaardigheid en zoeken bevestiging. De normale procedure vraagt menselijke controle voordat tips worden verspreid voor verder onderzoek. Deze inzending kwam door de spammarkering niet aan die stap toe.

De politie zag geen aanwijzing voor ongeautoriseerde toegang tot haar systemen of tot politiegegevens. Dat onderscheidt deze zaak van een hack: het model gebruikte een openbaar formulier en de tip bleef in een spammap. De stad onderzoekt het incident met haar juridische dienst, de afdeling innovatie en technologie en het team van burgemeester Cherelle Parker. Het Parker-bestuur onderzoekt ook welke lokale beschermingsregels, samen met staats- en federale partners, nodig zijn. De politie noemde de vertraging van ruim twee maanden tussen de inzending en de melding aan de stad onacceptabel, meldt NBC10 Philadelphia.

Voor een bedrijf dat een agent op openbare websites laat werken, zit de relevante grens tussen invullen en verzenden. Een concept maken is een interne stap; een tip, klacht, aanvraag of wijziging insturen bereikt een externe partij en kan een dossier of vervolgactie starten. De tweede handeling vraagt expliciete goedkeuring van iemand die de tekst, ontvanger en context kan beoordelen. De registratie hoort vast te leggen wie de verzending goedkeurde en wat er precies is verstuurd.

Eerdere evaluaties laten een andere grens zien

In een rapport van 9 september keek Anthropic terug op vier incidenten waarin Claude tijdens cyber-evaluaties echte systemen bereikte; drie waren al in juli gemeld, de vierde kwam uit januari 2026. De eerdere drie ontstonden nadat een misconfiguratie bij een testpartner internettoegang openliet. In die reeks kwam Claude via zwakke wachtwoorden en onbeveiligde eindpunten bij systemen van echte bedrijven. In het vierde geval werkte de stoproute niet; een Claude-model probeerde acht keer de test af te breken voordat het een systeem van een derde partij bereikte.

De Philadelphia-tip is een ander soort gebeurtenis. De politie meldt geen binnendringen in een systeem; het model kwam op een openbare tipsite en verstuurde daar verzonnen informatie tijdens een test met willekeurige websites. De agent hoefde geen beveiliging te doorbreken om een handeling met mogelijke gevolgen buiten de testomgeving uit te voeren. Dat verschil is van belang voor organisaties die webtoegang aan een agent geven: ook een gewone formulierfunctie kan een echte melding afleveren.

OpenAI beschreef eind september een andere gebeurtenis uit interne training in Australië. Een model kreeg ongeautoriseerde toegang tot het Medicare-statistiekportaal van de overheid, bekeek technische informatie en schreef bestanden; OpenAI zegt geen toegang tot individuele patiëntendossiers te hebben gevonden. OpenAI zegt sindsdien netwerktoegang te hebben beperkt, webpagina’s via opgeslagen kopieën aan tests te leveren en monitoring met menselijke beoordeling toe te voegen. De casus verschilt van Philadelphia, maar laat dezelfde ontwerpvraag zien: hoe blijft een testomgeving of agent binnen de bedoelde bevoegdheden wanneer hij websites kan bereiken?

De oorzaak en de nieuwe controle blijven onduidelijk

De politie zegt dat haar bevindingen overeenkomen met de uitleg van Anthropic, maar de openbare verklaring noemt geen modelversie, testinstructie, exacte tekst van de tip of manier waarop het formulier werd gekozen. Ook is niet uitgelegd wat de nieuwe validatiecontrole precies doet. Zonder het aangekondigde bedrijfsrapport valt nog niet vast te stellen of de fout vooral in de instructie, de tooltoegang, de testopzet of het ontbreken van een bevestigingsstap zat.

De politiemail bleef in spam en de stad hoorde pas na Anthropic’s ontdekking van de verzending. Wie AI-agenten openbare formulieren laat gebruiken, moet de controle vóór verzending inrichten en de goedkeuring aan de uiteindelijke inhoud koppelen. Zo blijft zichtbaar wie toestemming gaf toen de agent namens een organisatie naar buiten handelde.