Cisco koppelt AI-agentkosten aan kwaliteitsmetingen

Cisco koppelt in Splunk Agent Observability de kosten van AI-agents aan evaluaties van hun kwaliteit en bedrijfsimpact, maakte het bedrijf op 10 november bekend tijdens Cisco Live in Melbourne.

De maandrekening voor Nederlandse teams die agents inzetten krijgt een tweede meetlat: naast tokens per agent komt ook de kwaliteit en bedrijfswaarde van het afgeronde werk in beeld. De evaluatiemodellen komen deze maand beschikbaar. De kostenkoppeling zelf start later als privépreview.

Agentkosten krijgen een bedrijfsmaatstaf

Cisco zegt dat Tokenomics kosten per agent naast evaluaties van outputkwaliteit en bedrijfsimpact zet met gebruiksdata uit Amazon Bedrock en Amazon CloudWatch, terwijl Eval-G1 tot 98 procent lagere evaluatiekosten en 2,5 keer snellere evaluaties belooft. De kostenclaim vergelijkt Eval-G1 met een commercieel taalmodel; de snelheidsclaim vergelijkt het met traditionele taalmodelbeoordelaars. Zo kan een team de kosten van elke agent vergelijken met de kwaliteit van het geleverde werk. Splunk noemt klanttevredenheid (NPS) en kosten per claim als voorbeelden van bedrijfsdoelen die aan de technische meetgegevens kunnen worden gekoppeld. Dat zijn mogelijke meetpunten, geen resultaten die Cisco al bij klanten heeft gepubliceerd.

Tokenomics bouwt voort op de kostenregistratie die Splunk op .conf26 aankondigde. Die volgt uitgaven van AI-agents en programmeertools zoals Claude Code, Codex en Cursor. De nieuwe stap verbindt die rekening met beoordelingen van het resultaat. Een eerdere analyse van AI-agentkosten zette modelkeuze en kosten per taak naast het tokenverbruik. Dat onderscheid is relevant omdat een tarief per token weinig zegt over wat een agent kost wanneer die meerdere stappen, controles en herpogingen uitvoert.

Bain berekende dat tokenprijzen tussen december 2024 en december 2025 halveerden, terwijl het verbruik in dezelfde periode 4,5 keer toenam. De stijging in gebruik betekent niet automatisch dat elke taak duurder werd, maar wel dat alleen de prijs per token geen volledig beeld geeft van een groeiende AI-rekening. Een bedrijfsmaatstaf zoals kosten per claim of klanttevredenheid kan laten zien of een grotere inzet ook een bruikbaar resultaat oplevert.

Evaluatiemodellen krijgen een eigen tijdlijn

Eval-G1 gebruikt de geregistreerde stappen en toolaanroepen van agents, samen met feedback van vakexperts, om kleine evaluatiemodellen te maken. De evaluatietuner kan die modellen afstemmen op de kwaliteitsregels van een organisatie, zodat ze antwoorden beoordelen en agents kunnen bijsturen of tegenhouden. Splunk meldt dat Eval-G1 tot 95 procent nauwkeurigheid haalt, de modellen en tuner vanaf november beschikbaar zijn en beoordeling van 100 procent van het agentverkeer mogelijk wordt.

De uitrol verschilt per onderdeel. De evaluatiemodellen en tuner zijn volgens Cisco vanaf deze maand algemeen beschikbaar in Splunk Agent Observability. Tokenomics begint in december met een private preview en volgt begin 2027 algemeen in AWS Marketplace. Voor de kostenfunctie noemt Cisco Amazon Bedrock en CloudWatch als databronnen. De aankondiging noemt geen prijs of beschikbaarheidsregio voor Nederlandse organisaties.

Dezelfde Cisco-release noemt ook Claude Mythos in AI Defense; red-teaming met Mythos komt binnenkort naar geselecteerde ondernemingen. Cisco beschrijft hoe AI Defense aanvalspaden aanscherpt op basis van de reacties van een AI-toepassing, terwijl de adaptieve tests risico’s toetsen aan de eigen werkwijze van elke AI-app. Die aparte lijn heeft een eigen uitrolpad.

Evaluatie schuift de observabilitylaag in

Cisco is niet de eerste leverancier die kwaliteitsmetingen aan agenttraces koppelt. Datadog beschrijft ingebouwde en aangepaste evaluatoren die antwoorden op traces en spans beoordelen op zaken als toon, behulpzaamheid en feitelijkheid. Cisco legt in deze aankondiging de nadruk op het combineren van zulke beoordelingen met kosten per agent en bedrijfsdoelen. De meting verbindt zo de trace van agenthandelingen met een beoordeling van de uitkomst.

Ook de meetgegevens zelf brengen kosten mee. In het onderzoek van Splunk onder 2.050 IT- en engineeringprofessionals zei 57 procent dat telemetry duurder was dan de infrastructuur die zij bewaakten. De steekproef liep over tien landen, waaronder Duitsland, maar niet Nederland. De analyse van die survey maakt ook duidelijk dat het onderzoek niet vaststelde welk deel van de telemetrykosten door AI-agents kwam. De 57 procent is dus geen schatting van wat Cisco's nieuwe evaluaties een bedrijf gaan kosten.

De benchmark laat de bedrijfsrekening open

De productclaims beantwoorden nog niet wat een Nederlandse organisatie betaalt of bespaart. Cisco noemt een kostenvoordeel tot 98 procent tegenover een commercieel groot taalmodel, maar benoemt geen model, rekensom of prijs per evaluatie. Splunk meldt tot 95 procent nauwkeurigheid, zonder de gebruikte taken, testset of foutmarge te publiceren. De aankondigingen geven evenmin aan of een evaluator voor elk type klantcontact, claim of interne taak even goed werkt.

Daarom zijn de cijfers geen begroting voor een eigen proces. De uiteindelijke kosten hangen af van het aantal traces, de gekozen evaluaties en de bedrijfsmaatstaf die het team eraan koppelt. Voor een Nederlandse onderneming blijft ook onduidelijk wanneer Tokenomics in een specifieke AWS-regio beschikbaar komt.\n\nCisco's roadmap maakt duidelijk wanneer de onderdelen verschijnen, maar niet wat ze kosten voor een Nederlandse inzet. Na de private preview in december blijft de meetmethode de open vraag: hoe vergelijken organisaties kosten, kwaliteit en bedrijfsuitkomst voor hun eigen taken?