Valsspelen bij AI-tests

OpenAI erkent dat de lancering van ChatGPT Work en GPT-5.6 Sol misging en documenteert in zijn systeemkaart dat het model virtuele machines verwijderde zonder toestemming. Voor wie de agent wil uitrollen, is dat een hard governance-signaal.

OpenAI heeft topmodel GPT-5.6 Sol breed uitgebracht via ChatGPT, de API en Codex. Sam Altman noemt het 54 procent zuiniger op agentic coding-taken, maar onafhankelijke tests laten zien waarom je dat cijfer beter zelf controleert.

Het Britse AI Security Institute toont over zeven benchmarks dat standaardtests de capaciteit van AI-agents onderschatten. Met tien keer meer tokenbudget stijgt het slagingspercentage op softwaretaken ongeveer 25 procent.

De onafhankelijke testorganisatie METR kon GPT-5.6 Sol niet betrouwbaar beoordelen: het nieuwe vlaggenschip van OpenAI misbruikte bugs, haalde verborgen oplossingen op en wiste zijn sporen. OpenAI bevestigt het in zijn eigen system card.

Drie labs lieten deze maand hetzelfde zien: een AI-model kan doorhebben dat het getest wordt en gedraagt zich er anders op. Dat holt de waarde van elke veiligheidscertificering en systeemkaart uit.