Anthropic publiceert FlashProve voor verifieerbare AI-inferentie

FlashProve koppelt gegenereerde tokens aan vooraf vastgelegde modelgewichten met cryptografisch bewijs, schrijft Anthropic bij de publicatie van open code en documentatie onder Apache 2.0 op 2 november.

Een modelrouter die tussen aanbieders wisselt, krijgt hiermee een controlelaag: het bewijs kan laten zien of een uitvoertoken bij de vastgelegde gewichten hoort. De dienst moet daarvoor de modelvastlegging en het bewijs meesturen; de open code is nog geen kant-en-klare integratie. In Anthropics test vraagt bewijsproductie 70 tot 95 keer zoveel GPU-tijd als gewone inferentie.

De open proef volgt op interne ondertekening

Anthropic had voor 30 september een prototype voor controle van modeluitvoer op zijn veiligheidsroutekaart gezet. In een update van 19 oktober meldde het bedrijf dat het doel was gehaald met een prototype dat op productie-inferentie draait, intern tokenverkeer ondertekent en output aan specifieke gewichten koppelt. Volgens het bedrijf ving de ondertekening één uiterst zeldzame, onschuldige integriteitsfout.

Anthropic noemt het doel inmiddels inference verification, omdat het bredere interne systeem tokens ondertekent en de inferentie opnieuw berekent op een vertrouwde server. FlashProve volgt hetzelfde doel met een andere methode: cryptografisch bewijs dat een uitvoertoken uit de vastgelegde modelversie komt.

Herkomst speelt ook eerder in de AI-keten. Cisco's openbare herkomstcheck traceert bijna 900 open modellen aan hun gewichten. Die vraag gaat over waar een model vandaan komt en waarvan het is afgeleid. FlashProve richt zich op de volgende stap: of een antwoordtoken werkelijk uit de afgesproken gewichten kwam.

Een router moet dezelfde modelvastlegging doorgeven

FlashProve werkt in twee fasen. Eerst legt de aanbieder een korte commitment vast, een cryptografische vingerafdruk van één exacte set gewichten. De gewichten blijven verborgen. Daarna maakt de aanbieder voor een verzoek een bewijs dat de vastgelegde versie de opgegeven prompt en het gecontroleerde token verwerkte. Een controleur kan dat bewijs controleren zonder de modelgewichten te krijgen of zelf een GPU te gebruiken. De architectuur blijft wel zichtbaar.

Dat raakt modelrouters, die per taak tussen aanbieders en modellen kunnen wisselen. Snowflake beschreef een router die per taak het model met de beste verhouding tussen kwaliteit en kosten kiest. Voor een afnemer is het bewijs pas bruikbaar als de dienst de gewichtenvingerafdruk aan de afgesproken modelnaam koppelt en het bewijs bij het antwoord levert. Het bewijs koppelt uitvoer aan gewichten, maar verklaart niet waarom de router die gewichten koos.

De 110 tokens per seconde vraagt uitleg

Anthropic testte FlashProve op Llama 4 Maverick, een mixture-of-experts-model met 400 miljard parameters, waarvan ongeveer 17 miljard per token worden gebruikt. Het gebruikte publieke 4-bitgewichten en een server met één H100 en 24 CPU-kernen. In de test is een verzoek een venster van 1.024 tokens, maar controleert elk bewijs slechts één uitvoertoken, namelijk het token direct na de prompt.

Een batch van 24 verzoeken kostte 223 seconden en leverde een gemeten doorvoer van 110 tokens per seconde op. Die teller omvat alle tokens in de verzoekvensters, ook tokens die het bewijs niet controleert. Elk bewijsbestand was 18,78 MB, dus 24 bewijzen zijn samen ongeveer 451 MB. Toen Anthropic elk antwoordtoken controleerde, kwam de doorvoer uit op 39,1 gecontroleerde tokens per seconde. De totale bewijstijd veranderde daarbij volgens het bedrijf niet meetbaar.

De verificatie zelf duurde 17 seconden op 24 CPU-threads en 21 seconden op één thread. Een individueel verzoek in een batch wachtte ongeveer vijf minuten op het bewijs; afzonderlijk was een bewijs na 58 seconden klaar, maar daalde de doorvoer naar 17,6 tokens per seconde. Anthropic vergeleek dit met vLLM op dezelfde modelversie, met de FP8-versie op acht H100-GPU's. Per GPU duurde het bewijzen van een batch ongeveer 72 keer zo lang als de inference, met metingen tussen 66 en 77 keer; bij de hoogste vLLM-belasting liep dat op tot 94 keer.

Herkomst en waarheid vragen aparte controles

Attestable rapporteert 53 tokens per seconde voor Gemma 4 31B op één H100 bij een batch van één en 16.000 tokens context, en 77 tokens per seconde voor vier verzoeken met elk 4.000 tokens context. Het bedrijf noemt die resultaten alfaresultaten. Het gaat om een dicht model van 31 miljard parameters, tegenover Anthropics 400 miljard parameters tellende mixture-of-experts-test, dus de cijfers vormen geen directe ranglijst.

FlashProve bewijst in deze versie alleen uitvoering op een mixture-of-experts-architectuur, met naar integers omgezette gewichten en greedy decoding, waarbij het model telkens het hoogst scorende volgende token kiest. Het controleert contexten tot 1.024 tokens. Een antwoord uit een model dat met zwevendekommagetallen rekent of tokens samplet, kan afwijken van wat het bewijs controleert. De Lean-formalisering beschrijft de veiligheidsclaims, maar Anthropic geeft geen formele garantie dat het snelle C++-controleprogramma, het rapport en de Lean-versie volledig overeenkomen. Ook onthult het bewijs de gewichten niet, maar verbergt het de modelarchitectuur niet.

Het bewijs vertelt welk model een token produceerde. De feitelijke juistheid vraagt aparte broncontrole en menselijke review, zoals het protocol voor bronverwijzingen, schema-validatie en controle vóór publicatie beschrijft. Voor een router hangt de bruikbaarheid af van wat de dienst terugstuurt: de gewichtenvingerafdruk, het bewijs per gecontroleerd token en de koppeling met de afgesproken modelversie. Anthropic publiceert de onderzoekscode, maar noemt geen productie-integratie of uitrolschema.