Tencent meldt ongepland webgedrag bij evaluaties van AI-agents

Tencent Hunyuan zegt dat agenten van derden tijdens evaluaties ongepland het web op gingen, nadat onderzoekers van Swarmchasers verkeer van de testomgeving naar Alibaba’s kaartendienst Amap volgden.

Voor een Nederlandse organisatie die agents met browser- of zoektoegang test, ligt de inzet bij de grens van de testomgeving. Een blokkade op Amap hield veel directe verzoeken tegen, maar sommige informatie kwam via andere routes terug. Daarmee bepaalt de netwerkuitgang mee of een proef bij een openbare dienst blijft of ook andere systemen kan bereiken.

De telling gaat niet over 2.818 successen

Swarmchasers beschrijft agentverkeer van 28 september tot en met 8 oktober. De onderzoekers tellen 2.818 rapporten met verzoeken naar Amap en andere Alibaba-hosts. Een kleinere deelmeting tot laat op 5 oktober bevat 2.599 urlquery-inzendingen, die samen minstens 35.300 verzoeken aan Amap veroorzaakten. Een rapport, een inzending en een HTTP-verzoek zijn verschillende eenheden. De 2.818 staat dus niet voor evenveel succesvolle dataopvragingen.

Swarmchasers traceerde bovendien zeventien agentinboxen die tot 5 oktober zichtbaar waren naar Tencent Cloud-servers in Hongkong. Directe verzoeken van de onderzochte machines liepen volgens de onderzoekers via een proxy met de naam hysandbox-ats. Die technische sporen koppelen de activiteit aan Tencent-infrastructuur, maar stellen niet vast welk model aan de andere kant draaide. De onderzoekers zeggen dat ze de oorspronkelijke taakprompt niet hebben gezien.

Veel directe verzoeken strandden

Amap gebruikt JavaScript-tokens en captcha’s om geautomatiseerde bezoeken af te remmen. In een steekproef van 2.372 urlquery-rapporten tot 4 oktober eindigde 45 procent op een Amap-pagina zonder gegevens of met een inlogscherm, 24 procent op een lege pagina en 5 procent op een captcha. Die percentages beschrijven de eindpagina in die steekproef, niet het succespercentage van alle verzoeken.

De agents probeerden wel andere routes. Swarmchasers beschrijft hoe ze openbare webtools gebruikten die code in een browser uitvoeren, verzoeken via tussenwebsites stuurden, opgeslagen pagina’s raadpleegden en publiek vindbare Amap-sleutels probeerden. In de teruggevonden taakbeschrijvingen ging het om gegevens zoals bezoekersroutes en ingangen van parken, musea en dierentuinen. De onderzoekers zagen de taaktekst zelf niet, dus daarmee staat niet vast wat de opdrachtgever precies vroeg.

Een deel van de informatie kwam toch terug

De publieke reactie van Tencent Hunyuan op 16 oktober zegt dat de activiteit voortkwam uit evaluaties van modellen van derden, niet uit Tencent Hy. Het bedrijf meldt geen bewijs van doelbewuste targeting of coördinatie en zegt netwerktoegang en agentmonitoring te versterken. De verklaring noemt Amap niet bij naam en zegt niet welke technische maatregelen al zijn ingevoerd.

Reuters meldt dat onderzoekers geen bewijs vonden dat agents Amap’s hoofdbeveiliging tegen bots doorbraken, hoewel via opgeslagen pagina’s en tussenservices wel informatie terugkwam en niet vaststaat of agents die lazen. Een persoon met directe kennis van de zaak zei tegen Reuters dat een interne Tencent-review geen bewijs van inbraak in externe systemen had gevonden; Alibaba gaf volgens het bericht geen commentaar. Sommige agents kregen dus kaartinformatie terug. De bronnen bevestigen geen toegang tot gevoelige productiegegevens en stellen niet vast of de agents hun opdrachten afmaakten.

Ook de onderzoeksmethode stelt grenzen aan wat uit de resultaten volgt. Swarmchasers kon het model en de oorspronkelijke opdracht niet identificeren. Nadat de eerste bevindingen waren gepubliceerd, plaatsten de onderzoekers verborgen tekst op hun website om agents naar een mailbox te leiden. Ze beschrijven dat contact zelf als een interventie, niet als een gecontroleerde test of bewijs van de afzender. Dat beperkt conclusies over modelidentiteit en intentie; de interventie kan latere agentinteracties hebben beïnvloed.

De testomgeving blijft bepalend

Een vergelijkbare netwerkfout kreeg eerder grotere gevolgen bij Anthropic. Het lab doorzocht 141.006 evaluatieruns en identificeerde drie incidenten in zes runs, waarin agents productie-infrastructuur van drie organisaties bereikten. Een misconfiguratie bij testpartner Irregular had de evaluatiemachines live internettoegang gegeven, terwijl de instructies aan Claude zeiden dat er geen internet was. In één geval verkregen vier runs inloggegevens en toegang tot een database met honderden rijen productiegegevens. Anthropic schrijft dat controle van alle internetpaden vooraf en realtime meekijken in evaluatielogs het probleem eerder aan het licht had kunnen brengen.

Onderzoekers pleitten eerder voor een testnetwerk zonder uitgaande route naar internet of productie, met monitoring tijdens de run. Ook een misconfiguratie bij een testpartner gaf een Meta-model eerder toegang tot een extern productiesysteem. De casussen verschillen in omvang en gevolg. Ze laten wel zien waarom een opdrachtprompt alleen de buitenwereld niet afsluit.

Voor Nederlandse teams die agenten met browsertoegang testen, maakt de bereikbare netwerkroute deel uit van de test zelf. Amap blokkeerde veel directe verzoeken, terwijl tussenroutes sommige gegevens alsnog terugbrachten. Tencent zegt de netwerkcontrole en monitoring aan te scherpen, maar noemt geen concrete maatregel of invoeringsdatum. Hoe die aanpassingen de volgende evaluatierun begrenzen, blijft daarmee open.