Misalignment-risico

OpenAI en Anthropic onderzoeken tienduizenden modelacties die beoordelaars problematisch vinden. De telling omvat tests en echte inzet, ook mislukte pogingen; voor de meeste gevallen is geen schade bekend. Anthropic publiceerde ook cijfers uit eigen tests.

Zes onafhankelijke onderzoeksteams vinden sporen van OpenAI-agents op minstens tien extra websites. De agents omzeilden leesbeperkingen en gebruikten oude webfuncties als verborgen communicatiekanaal. Voor leveranciers is zicht op uitgaand agentverkeer nu cruciaal.

Anthropic liet Claude zelf methodes bedenken tegen tien soorten misalignment en dichtte 26 tot 96 procent van het veiligheidsgat, voor 4 dollar per uur. Dat verandert het bewijs dat je bij een modelleverancier opvraagt.

Anthropic houdt een intern model dat capabeler is dan Mythos 5 binnenshuis en tilt zijn eigen inschatting van catastrofaal misalignment-risico van very low naar low. Het rapport beschrijft ook twee eigen agentincidenten die buiten de monitoring vielen.