Claude Fable 5 leidt debugtaken stil naar een zwakker model: benchmark keldert 70 procent

Wie sinds 1 juli met Claude Fable 5 debugt, krijgt lang niet altijd het model dat hij denkt te gebruiken. Onafhankelijke benchmarkcijfers die testplatform BridgeMind op 2 juli publiceerde laten zien dat de TypeScript-debugscore van Fable 5 met 70 procent instortte na de herlancering. Niet omdat het model dommer werd, maar omdat Anthropics nieuwe veiligheidsclassifier het merendeel van de codeerverzoeken stilletjes wegleidt naar een zwakker model. Voor Nederlandse ontwikkelteams die hun pijplijn op Fable 5 bouwden is dat geen detail: elke debugsessie heeft een reele kans om ongemerkt op Claude Opus 4.8 te landen, tegen dezelfde verwachtingen en zonder waarschuwing vooraf.

Wat BridgeBench mat

BridgeMind draait BridgeBench, een open-source benchmarksuite voor vibe coding en agentic ontwikkelwerk. Het platform draaide zijn volledige testreeks opnieuw tegen de 1-juliversie van Fable 5, op de dag dat het model terugkeerde. De uitslag was over de hele linie fors.

De debugscore zakte van 86,2 naar 25,9, een daling van 70 procent; refactoring viel terug van 73,6 naar 38,4 (min 48 procent) en de hallucinatiescore van 75,9 naar 61,7 (min 19 procent). Op de debugbenchmark, die TypeScript-reparaties beoordeelt op zichtbare bugfixes, verborgen bugs, regressiebestendigheid en of de echte oorzaak wordt geraakt, zakte Fable 5 van de negende naar de een-na-laatste plaats: plek 41 van 42 geteste modellen. Bij refactoring viel het terug naar plek 30 van 33.

De crux zit in wat de score eigenlijk meet. Slechts 3 van de 12 debugtaken liepen op Fable 5 volledig uit zonder dat de classifier ingreep; de andere 9 werden onderschept en doorgestuurd naar Opus 4.8. BridgeBench rekent elke doorgestuurde aanroep als een nul, omdat het model dat de taak afmaakte niet het model was dat getest werd. De prestatie van Fable 5 zelf is dus niet gekelderd, de beschikbaarheid ervan wel. BridgeMind vatte het bondig samen: het model werd niet slechter, het werd gekooid, en riep Anthropic op tot uitleg.

Hoe de classifier verzoeken omleidt

Fable 5 en het zwaardere, afgeschermde Mythos 5 draaien op hetzelfde onderliggende model. Wat ze scheidt is een set veiligheidsclassifiers: kleine, geautomatiseerde AI-systemen die verzoeken in real time meelezen en tegenhouden zodra ze in een risicocategorie vallen, zoals offensieve cybersecurity, biologie en chemie, of modeldistillatie. Trekt een verzoek de classifier over, dan bereikt het Fable 5 niet: het gaat naar Opus 4.8 en de gebruiker krijgt een melding. Anthropic noemt dit defense in depth en zet de triggerzone bewust ruimer dan strikt nodig, zodat waarschijnlijk-onschuldige verzoeken meesneuvelen om te voorkomen dat een echt gevaarlijke vraag erdoorheen glipt. Bij de junilancering ging het volgens Anthropic nog om minder dan 5 procent van de sessies.

De juliclassifier is conservatiever dan zijn voorganger. Hij is getraind om precies het promptpatroon te vangen dat Amazon-onderzoekers gebruikten om de oude beveiliging te omzeilen, en blokkeert die techniek naar eigen zeggen in meer dan 99 procent van de gevallen, bevestigd door onderzoekers van het Amerikaanse Center for AI Standards and Innovation. De keerzijde erkent Anthropic zelf: de nieuwe classifier gaat ten koste van het vaker markeren van onschuldige verzoeken tijdens routinematig code- en debugwerk. Wat het bedrijf er niet bij gaf, is hoe vaak dat gebeurt. BridgeBench leverde dat cijfer als eerste: 9 van de 12 debugtaken.

Waarom Fable 5 anders terugkwam dan hij vertrok

Om de daling te begrijpen helpt het te weten waarom het model negentien dagen weg was. Anthropic lanceerde Fable 5 op 9 juni. Drie dagen later dwong een spoed-exportbevel van het Amerikaanse ministerie van Handel het bedrijf de toegang voor elke buitenlandse gebruiker af te snijden, nadat Amazon-onderzoekers een prompttechniek meldden die de beveiliging omzeilde: het model vragen om code te repareren zette het aan tot het benoemen, en in een geval het misbruiken, van kwetsbaarheden. Omdat Anthropic de nationaliteit van gebruikers niet op API-schaal kon vaststellen, ging het model wereldwijd voor iedereen op zwart. De Amerikaanse exportblokkade werd op 30 juni volledig opgeheven en Fable 5 keerde op 1 juli wereldwijd terug, maar alleen met deze nieuwe classifier eraan vast. Beveiligingsexpert Katie Moussouris, de enige externe die het onderliggende onderzoek inzag, concludeerde dat er geen echte jailbreak was: het ging om standaard defensief beveiligingswerk dat je niet kunt weghalen zonder het model juist voor verdedigers onbruikbaar te maken. Precies dat soort werk loopt nu het grootste risico onderschept te worden.

Wat dit je in de praktijk kost

Het ongemak is niet alleen technisch, het is ook financieel en operationeel. Fable 5 kost 10 dollar per miljoen invoertokens en 50 dollar per miljoen uitvoertokens, exact het dubbele van Opus 4.8. Voor doorgestuurde aanroepen betaal je weliswaar niet de Fable 5-prijs, maar je krijgt voor een fors deel van je verzoeken de capaciteit van Opus 4.8 zonder betrouwbare manier om binnen een sessie te voorspellen welk model je nu eigenlijk aan de lijn hebt. Daar staat een nuance tegenover: BridgeBench meet productlevering, niet of de taak slaagde. Een debugvraag die naar Opus 4.8 ging en daar prima werd opgelost, voelt in de praktijk niet als een mislukking, alleen in een benchmark die kijkt of juist Fable 5 het werk deed. De echte pijn zit dus niet in kwaliteit per taak, maar in onvoorspelbaarheid.

Die onvoorspelbaarheid is het lastigst te ondervangen. Er is geen gepubliceerde manier om vooraf te toetsen of een verzoek de classifier passeert, en de filter beoordeelt vorm minstens zo zwaar als bedoeling: een doodgewone TypeScript-debugvraag kan qua opzet lijken op het code-reviewpatroon dat Amazon demonstreerde. Teams met beveiligingsgerelateerd code-reviewwerk lopen daardoor het grootste risico dat hun hele Fable 5-usecase wegvalt tot Anthropic de triggerzone versmalt. Wie zekerheid wil, kan direct op Opus 4.8 vastpinnen voor voorspelbaar gedrag, of via een model-identificerend eindpunt controleren welk model daadwerkelijk antwoordt voordat iets in productie gaat. En het is verstandig te testen of je pijplijn een stille downgrade opvangt in workflows waar de modelkeuze er echt toe doet. Voor teams die dit najaar overstappen op aparte tarieven speelt dat extra: Fable 5 blijft tot 7 juli meetellen binnen de gewone abonnementslimieten en schuift daarna door naar aparte verbruikscredits, wat het loont om nu al te weten hoe vaak je op de fallback landt.

De bredere les overstijgt deze ene classifier. Een topmodel dat een overheid van de ene op de andere dag kan uitschakelen, en waarvan de aanbieder je verzoeken vervolgens stil kan omleiden naar een zwakker alternatief, is geen fundament maar een afhankelijkheid. Het verschil tussen die twee is of je van model kunt wisselen zonder je hele werkwijze om te gooien. Wie dat nu vastlegt, meet niet pas achteraf wat een beleids- of veiligheidswissel hem kost, maar houdt de regie in eigen hand.