Salesforce koppelt agentevaluaties aan noodstop en kostenlimieten

Agent Fabric krijgt evaluaties voor live-agents en kostenlimieten, meldt Salesforce; Agent Evals en API Evals gaan in november in bèta en worden in januari algemeen beschikbaar.

Een orderassistent die na een modelwissel verkeerde informatie over vertraagde bestellingen geeft, moet straks automatisch worden herkend en zo nodig worden stilgezet. Voor bedrijven verschuift de controle daardoor van een test vóór livegang naar toezicht op gedrag en kosten tijdens gebruik.

De test loopt door na de lancering

Agent Evals genereert tests vóór ingebruikname en beoordeelt daarna agents, taalmodellen en MCP-servers in productie. Teams stellen kwaliteitsgrenzen in. Vallen resultaten daaronder, dan kan het systeem een vooraf gekozen ingreep starten, waaronder een melding of het isoleren van de agent. Als het beleid dat vraagt, moet eerst een mens goedkeuren.

API Evals richt zich op een andere zwakke plek: de koppelingen waar agents op steunen. Salesforce zegt dat de functie uit API-specificaties functionele en prestatietests opstelt, zodat een wijziging in een koppeling eerder aan het licht komt. Dat raakt bijvoorbeeld een orderagent die klantstatus ophaalt via een API die tussentijds is aangepast.

In het voorbeeld van Salesforce stapt een retailer over op een goedkoper model voor zijn orderagent. De antwoorden over vertraagde leveringen worden onnauwkeurig. Agent Evals ontdekt dat met geplande tests, vraagt toestemming om de agent te isoleren en laat het team de instructies aanpassen en opnieuw testen voordat de agent teruggaat naar productie. Het is een uitgewerkt scenario, geen gemeten klantresultaat.

De noodstop heeft twee tijdlijnen

De aankondiging noemt zowel beschikbare onderdelen als functies die nog moeten verschijnen. De status per 27 oktober is:

• Agent Evals en API Evals: bèta in november 2026, algemeen beschikbaar in januari 2027.
• Agent Kill Switch: algemeen beschikbaar. De noodstop zelf kan een agent stilzetten.
• Triggered-Agent Kill Switch: algemeen beschikbaar in januari 2027. Deze koppelt een evaluatie-uitkomst automatisch aan ingrijpen.
• Custom Agent Scanner: bèta vanaf vandaag, algemene beschikbaarheid gepland voor januari 2027. De scanner moet agents, modellen, MCP-servers en API’s in interne omgevingen en achter firewalls vinden.
• FinOps Dashboard, Model Wallet en Cost Optimization Policies: algemeen beschikbaar. Ook Open Policies voor federatieve API-gateways zijn algemeen beschikbaar.

VentureBeat meldt dat de gewone Agent Kill Switch sinds september algemeen beschikbaar is. De functie die nu op de planning staat, is de automatische koppeling tussen een evaluatie-uitkomst en de noodstop, met algemene beschikbaarheid in januari 2027. De release noemt geen aparte prijs voor evaluaties of datum voor uitrol per regio.

Het kostenplafond heeft een technische grens

Model Wallet en het FinOps Dashboard brengen agentuitgaven in beeld en laten budgetten instellen. MuleSoft documenteert budgetten per agent, instantie of bedrijfseenheid, in geld of tokens en met dag-, week- of maandgrenzen; verbruik kan kort boven de grens uitkomen voordat de proxy vervolgverzoeken blokkeert. Een Model Proxy berekent elke aanvraag tegen het tarief van de modelaanbieder, zodat het dashboardbedrag aansluit op de rekening.

Salesforce zegt dat Cost Optimization Policies het tokengebruik in testscenario’s met maximaal 75 procent verlagen. De genoemde middelen zijn antwoorden op vergelijkbare verzoeken hergebruiken, invoer verkleinen en overbodige delen uit antwoorden halen. Dat percentage geldt voor tokens in tests, niet automatisch voor de volledige AI-factuur. De aankondiging beschrijft de gebruikte tests niet en rekent de besparing niet door naar een bedrag.

Zo’n limiet is een operationele rem, geen garantie dat de factuur op exact dat bedrag stopt. Een centrale proxy met een eigen sleutel en budget per agent maakt ondertussen wel zichtbaar welke agent de tokens verbruikt en waar een limiet ingrijpt.

De control plane krijgt uitvoerbare functies

Op 10 september zette Salesforce zes vertrouwensbouwstenen en een AI Control Plane boven Agent Fabric uiteen. Het bedrijf plande de eerste uitrol van nieuwe mogelijkheden en de verenigde ervaring voor begin fiscaal FY28, rond februari 2027. Nu staan Agent Evals, API Evals en de getriggerde noodstop voor algemene beschikbaarheid in januari. Die onderdelen volgen dus vóór de eerder aangekondigde verenigde ervaring.

De bredere markt bouwt vergelijkbare meetlussen in. Microsoft Foundry beschrijft evaluatoren voor taakafronding en juist toolgebruik, plus productiecontrole op tokenverbruik, fouten en kwaliteitsscores via Azure Monitor. Salesforce’ nadruk ligt op het verbinden van zulke evaluaties met een stopactie en op beheer van agents over verschillende platforms; de twee diensten zijn daarmee geen één-op-één uitwisselbare producten.

De behoefte aan evaluatie in productie krijgt context in LangChains enquête onder 1.340 professionals: 52,4 procent zegt offline evaluaties te gebruiken, tegenover 37,3 procent online. De enquête liep van 18 november tot 2 december 2025; 63 procent van de respondenten werkt in technologie. De cijfers beschrijven dus vooral die sector en meten niet specifiek Nederlandse bedrijven. Voor organisaties met agents in klantcontact of administratie zit de concrete verandering in de route van meting naar ingrijpen. De bèta in november en de geplande automatische noodstop in januari laten zien wanneer die route in de praktijk te beoordelen is.