CTGT opent Concordance om wisselende agentbesluiten te traceren

CTGT publiceert Concordance onder Apache 2.0, met testprotocol, referentiecode en meetdata, een meetpakket dat bij herhaling de eerste afwijking in een AI-workflow lokaliseert zonder toegang tot modelgewichten.

Wanneer een agent een betaling voorbereidt, een bedrijfsregel toepast of een klantrecord bijwerkt, moet een team kunnen terugvinden waar het besluit veranderde. Concordance onderscheidt een ander modelantwoord op dezelfde invoer van een andere invoer die de workflow doorgaf.

Vier uitvoeringen leverden vier verschillende lijsten op

In een verslag van 21 oktober testte CTGT het pakket op een eigen compliance-toepassing die een bankhandleiding van negen pagina’s verwerkte met Qwen3.8-27B en de deterministische inferentie-instelling van SGLang. De vier uitvoeringen leverden 32, 31, 33 en 33 verplichtingen op. Geen van de vier lijsten was gelijk. In één versie ontbrak de escalatie van een onopgelost conflict naar het hoofd compliance. In dezelfde proef bleven de antwoorden op 74 exact herhaalde modelverzoeken gelijk, meldt CTGT.

De variatie ontstond rond het model. De toepassing zette upload-ID’s in prompts, schreef een lijst van dertig routeringsregels telkens in een andere volgorde en gebruikte een onderwerpenregister dat tussen uitvoeringen groeide van 21 naar 22 sleutels. In één prompt van 12.525 tekens verschilden slechts vier regels met ID’s. Daarna las het model vijf conflictregels als achtergrondinformatie in plaats van als verplichtingen, waardoor de escalatie ontbrak.

CTGT verving de wisselende ID’s door vaste aliassen, sorteerde de lijst en begon iedere test in een schone organisatieomgeving. Daarna leverden vijf uitvoeringen telkens dezelfde 34 verplichtingen op. De proef laat daarmee zien hoe een kleine verandering in de gegevens die een agent doorgeeft, een zakelijke beslissing kan beïnvloeden, ook wanneer identieke modelverzoeken zelf gelijk worden beantwoord.

Concordance zoekt de eerste afwijkende stap

Het pakket bewaart de verzoeken en antwoorden van modelaanroepen, groepeert gelijke verzoeken over meerdere uitvoeringen en vergelijkt de uitvoer per stap. Bij een verschil kan de ontwikkelaar zien of het model een andere invoer kreeg of bij dezelfde invoer anders antwoordde. Concordance kan met verschillende modellen werken en vraagt geen toegang tot hun gewichten.

Dat sluit aan op de basis van een uitvoeringsspoor dat per agentstap de gebruikte tools, invoer, resultaten en duur vastlegt. Zo’n spoor maakt een uitvoering achteraf zichtbaar. Een productiescorecard die zes maten naast elkaar zet, waaronder uitzonderingen, bewijsvolledigheid en gecontroleerde ERP-teruglezing beantwoordt weer een andere vraag: wat levert de agent over tijd op en wanneer is opschalen verantwoord?

In een aparte serverproef gaf Qwen3.8-27B met deterministische instellingen in alle 800 antwoorden dezelfde tekst als de controle met één verzoek tegelijk, tot duizend tokens en bij 40 gelijktijdige verzoeken. Dat resultaat hoort bij die modelserver en instellingen: het bewijst niet dat elk model altijd identiek antwoordt of dat een gelijk antwoord juist is.

Bestaande meetplatforms doen al een deel

Concordance komt terecht in een veld waar ontwikkelteams modeluitvoer meten en uitvoeringssporen vastleggen. LangSmith beschrijft tests op vaste datasets, vergelijking van versies en online evaluaties van productie-uitvoer. De documentatie noemt onder meer regressietests die een nieuwe versie naast een eerdere basis leggen. Langfuse ondersteunt code-evaluaties op afzonderlijke model- of toolaanroepen en op gecontroleerde testsets; de evaluaties kunnen zelf-gehost draaien als daarvoor een uitvoerder is ingesteld.

Die functies overlappen met delen van Concordance’s diagnose. Voor een team is de vraag welke vergelijking nog ontbreekt: versies vergelijken, bekende antwoorden beoordelen of de eerste afwijkende stap terugvinden. VentureBeat meldt dat CTGT geen vergelijkende test publiceerde en voorlopig geen betaalde of gehoste versie plant. De cijfers beschrijven Concordance, maar geven geen vergelijking met bestaande platformen.

De proef toont reproduceerbaarheid, geen juistheid

De open code is geen gehoste dienst. De repository bevat het protocol, de referentie-implementatie en meetdata, maar niet de compliance-toepassing, prompts of oorspronkelijke verzoeken van CTGT. Wie het pakket inzet, moet de meetcode zelf in de eigen werkwijze opnemen en bepalen welke gegevens veilig te bewaren zijn.

De onderliggende proef bleef bovendien klein: één intern systeem, één document en vier uitvoeringen vóór de aanpassing. CTGT noemt dit zelf een eerste meting en zegt dat de code die de productiegegevens opleverde buiten de release valt. De vijf gelijke uitkomsten na de wijziging laten zien dat die ene toepassing stabieler werd onder dezelfde testopzet. Ze zeggen niet hoe vaak dit probleem bij andere bedrijven voorkomt.

Ook een identiek antwoord kan fout zijn. In de proef werd de verkeerde classificatie van een conflict acht keer herhaald met hetzelfde resultaat. Herhaalbaarheid maakt een fout dus beter onderzoekbaar, maar controleert niet vanzelf of een uitkomst bij beleid of brondocument past. Voor Nederlandse teams die agents beslissingen laten voorbereiden of vastleggen, zijn reproduceerbaarheid, beoordeling tegen de regels en menselijke escalatie afzonderlijke controles. Concordance richt zich op de eerste vraag: op welk punt veranderde de route naar dit besluit?