Alisina NawabiPrism scoort vaste antwoordopties voor AI-routering en andere workflowkeuzes en haalt in Sarvams eigen test 44 milliseconden mediaan en gemiddeld 71,8 op een NVIDIA B200, meldt het bedrijf op 3 november.
Klantenservice kan een ticket naar een team sturen, terwijl agentsoftware twijfelgevallen kan laten beoordelen. Voor de lokale route vraagt Sarvam één NVIDIA-GPU met FP8-ondersteuning, circa 120 GB vrij geheugen en 106 GB schijfruimte voor de gewichten. Daarmee raakt de introductie zowel workflowlogica als hardware en taalondersteuning.
Prism geeft een kans per vaste optie
Een beslismodel krijgt context, een vraag en vooraf bepaalde antwoorden. Het geeft voor elke optie een waarschijnlijkheid terug. Artificial Analysis omschrijft beslismodellen als systemen die vaste keuzes met bijbehorende kansen geven. Prism verwerkt de invoer in één doorgang met een aparte scorelaag, zonder tekst token voor token te genereren. De uitvoer kan direct als keuze in software worden gebruikt.
Sarvam baseerde Prism op zijn 105B-model en zegt het te hebben getest voor routering van klantvragen, modelkeuze, documentverwerking en beoordeling van agentruns. Een ingestelde vertrouwensgrens kan een sterke score automatisch laten doorlopen en een twijfelgeval naar een medewerker sturen. De grens werkt alleen als het model op eigen categorieën en voorbeelden is getoetst.
Zelf hosten vraagt een eigen inferentiepad
Sarvam publiceert de gewichten onder Apache 2.0 en biedt Prism ook via een gehoste API aan. De modelkaart noemt een B200 of H200 als voorbeelden van GPU's met voldoende geheugen. De FP8-bestanden gebruiken eigen Prism-inferentiecode en laden niet rechtstreeks in algemene modelservers of AutoModelForCausalLM. De open gewichten vragen dus ook een passende runtime en technisch beheer.
Voor de API noemt Sarvams documentatie ₹4 per miljoen invoertokens en ₹0 per miljoen uitvoertokens, op ieder plan. Tien miljoen invoertokens kosten daarmee ₹40. Als één verzoek meerdere vragen over dezelfde context bevat, telt Sarvam die context één keer mee. Iedere vraag mag maximaal 32.768 tokens bevatten.
De gepubliceerde talenlijst bevat Engels, tien Indiase talen en Hinglish, geen Nederlands. De documentatie noemt ook geen afbeeldingen of streaming. Nederlandse resultaten op klantmails en bedrijfsdocumenten zijn daarmee niet aangetoond; de taal en eigen testdata tellen naast de snelheid.
Jev en Decision-1 tonen de parallel
Prism komt in een categorie die al andere routes krijgt. Jev geeft software waarschijnlijkheden per vaste keuze, nadat TypeSafe het op 15 september als zijn eerste System One-model introduceerde. Microsoft kondigde op 9 oktober Decision-1 aan voor vaste keuzes bij routering, classificatie en workflowcontrole, waarna het het model op 36 benchmarksets en bijna 150.000 vragen buiten de training testte.
Die releases zetten een gespecialiseerde beslislaag naast modellen die open tekst genereren. Prism onderscheidt zich door de publicatie van gewichten en de optie om ze lokaal te draaien. Voor organisaties betekent dat een andere verdeling van kosten en beheer: een API-aanroep of een eigen GPU met een specifieke runtime.
De scorekaart blijft Sarvams eigen meting
De score 71,8 is een gemiddelde over drie indices bij 25 geteste beslismodellen. Daaronder vallen de Jev Decision Index met 37 openbare benchmarks, een door Sarvam nagebouwde versie van de Artificial Analysis-index en een interne test voor Indiase talen. In de reconstructie verving Sarvam de niet-openbare kennistoets door eigen moeilijke vragen met een optie om niet te antwoorden. Het getal vat een samengestelde leveranciersvergelijking samen, geen algemeen nauwkeurigheidscijfer of openbare uitslag van de onafhankelijke index.
Sarvam meldt de hoogste gemiddelde score onder de geteste modellen die binnen 100 milliseconden antwoordden. Enkele modellen scoorden hoger in totaal, maar deden daar twee tot zes keer langer over. De 44 milliseconden is de mediaan van 1.000 verzoeken die één voor één op één B200 zijn verstuurd. Voor de alleen via API beschikbare modellen Jev 1.14 en Microsoft-Decision-1 gebruikt Sarvam gepubliceerde tijden van 196 en 85 milliseconden. Vanaf de eigen cluster mat het respectievelijk 431 en 533 milliseconden. De vergelijking is daarmee deels gebaseerd op metingen vanaf verschillende plekken.
Bij antwoorden met minstens 90 procent vertrouwen rapporteert Sarvam 2,2 procent fouten tegenover 3,3 procent verwacht in het Engels, en 4,4 tegenover 5,4 procent in Indiase talen. De test omvatte 226.088 Engelse vragen en 20.108 vragen in tien Indiase talen en Hinglish. Op 2.000 vragen veranderde het antwoord 4 procent van de tijd wanneer opties werden geschud; na intern sorteren veranderde geen antwoord meer.
Voor beoordeling van agentruns meldt Sarvam 78,5 procent nauwkeurigheid over 700 runs en 1.770 vragen, waaronder 86,4 procent bij de vraag of een mens moest meekijken. Antwoorden zijn volgens het bedrijf vergeleken met expertlabels of uitkomsten uit de testomgeving. Sarvam noemt deze evaluaties vroeg en zegt de beveiligingstest in de komende weken uit te breiden en openbaar te maken.
Voor Nederlandse teams komt de keuze neer op drie punten: passen vaste uitkomsten bij het proces, werkt het model op de eigen taal en categorieën, en past de API of lokale hardware beter? Prism maakt de geheugeneis en een deel van de snelheid meetbaar, maar de gepubliceerde talenlijst toont geen Nederlands. De aangekondigde openbare beveiligingstest kan een deel van de evaluatie buiten Sarvams eigen metingen toetsbaar maken.
Veelgestelde vragen
Van keuze naar workflow
Ik denk mee over waar een beslismodel past, ontwerp de workflow en realiseer de koppelingen en automatisering tot het proces live staat. Self-hosted waar dat kan, met een duidelijke route voor twijfelgevallen.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
