Serverracks met netwerkbekabeling in een datacenter.
Nieuws23 november · 00:134 min leestijd

Sarvam brengt 105B-model uit dat op één GPU past

Sarvam publiceert een open 105B-checkpoint en toont de 65-GB NVFP4-versie op één RTX PRO 6000 met 96 GB geheugen. API-prijzen dalen, maar Nederlandse taalprestaties en lokale exploitatiekosten blijven onbeantwoord.

Sarvam brengt op 22 november het open 105B-model Sarvam-105B-1711 uit; volgens het bedrijf draait de 65-GB NVFP4-versie op één RTX PRO 6000 Blackwell.

Een supportteam dat 100 miljoen tokens per maand verwerkt, betaalt bij de door Sarvam genoemde verhouding van drie invoertokens op één uitvoertoken circa $15 via de API. Lokaal draaien verschuift die rekening naar een GPU, stroom en beheer. De aankondiging geeft geen aanschafprijs of exploitatiekosten voor het werkstation, dus de cijfers laten nog geen financieel omslagpunt zien.

De gewichten zijn open, de dienst blijft apart

Sarvam-105B-1711 is een nieuw checkpoint van het 105B-model, bedoeld voor veelgebruikte gesprekken, klantondersteuning, spraakagenten en taken met hulpmiddelen. De downloadbare NVFP4-gewichten staan op Hugging Face onder Apache 2.0. Sarvam stelt ook BF16-gewichten beschikbaar voor verder trainen. De modelbestanden zijn daarmee te gebruiken buiten de gehoste dienst, terwijl de API apart per token wordt afgerekend.

Sarvam bouwde Prism op de 105B-basis als beslismodel dat vaste opties voor routering en proceskeuzes scoort. Sarvam-105B-1711 gebruikt die basis voor gesprekken en toolgebruik.

Eén GPU vraagt een professionele kaart

De kleinste checkpoint neemt volgens Sarvam 65 GB in als NVFP4. De MXFP8-variant is 111 GB en de BF16-bestanden samen 198 GB. Alleen de sterk gekwantiseerde NVFP4-versie past dus in de demonstratie op één kaart. NVIDIA specificeert voor de RTX PRO 6000 Blackwell Workstation Edition 96 GB GDDR7-geheugen. Dat laat ruimte voor de runtime en het werkgeheugen, maar maakt deze opstelling geen gewone desktopconfiguratie.

Het verschil met lichtere lokale hardware is concreet. De 65 GB aan gewichten is al meer dan het beschikbare geheugen van de DGX Spark met 64 GB, waarvoor NVIDIA een vanafprijs van $4.999 noemt, nog vóór geheugen voor de context en de serversoftware. Sarvam noemt voor zijn eigen test vLLM 0.33.0, een DSpark-hulpmodel en een FP8-geheugencache. Die onderdelen horen bij de werkende configuratie.

Sarvam toont de Indus Cowork-interface naast een scherm met GPU- en tokenstatistieken. Beeld: Sarvam AI
Sarvam toont de Indus Cowork-interface naast een scherm met GPU- en tokenstatistieken. Beeld: Sarvam AI

In de demonstratie staat het netwerk uit terwijl een agent drie leverancierscontracten tegen een intern speelboek legt en daarna een risicomemo en presentatie maakt. De modelserver draait dan lokaal, maar de demonstratie zegt niets over installatie, beheer of kosten bij een Nederlandse organisatie. De training vraagt bovendien een andere schaal: Sarvam zegt 330 miljard tokens op 512 B200-GPU's in iets meer dan zeven dagen te hebben verwerkt om de contextlengte tot 160.000 tokens uit te breiden.

De API-rekening hangt af van de tokenmix

Sarvams introductietarieven voor 105B zijn ₹10 per miljoen invoertokens, ₹0,25 voor invoer uit cache en ₹25 per miljoen uitvoertokens. De lage prijs voor invoer uit cache geldt alleen voor hergebruikte context; niet iedere token valt dus tegen hetzelfde tarief.

Sarvam zegt dat het gemiddelde tarief sinds de vorige checkpoint met ongeveer twee derde daalt, van $0,44 naar $0,15 per miljoen tokens. Die vergelijking rekent met drie invoertokens op één uitvoertoken en een wisselkoers van ₹90 per dollar. Bij 100 miljoen tokens zonder cache zijn dat 75 miljoen invoertokens en 25 miljoen uitvoertokens: samen ₹1.375, of ongeveer $15. Dezelfde verdeling kost bij de betaalde standaardtarieven van Gemini 3.5 Flash-Lite, $0,30 invoer en $2,50 uitvoer $85. Een hogere uitvoerfractie maakt beide rekeningen duurder.

Op Sarvams eigen acht-benchmarkgemiddelde staat het nieuwe model op 73,9 punten, tegenover 74,0 voor Gemini 3.5 Flash-Lite. Die scores komen uit een evaluatie die Sarvam zelf heeft ingericht en gedraaid. De prijsvergelijking is daardoor concreet, maar de score is geen onafhankelijke bevestiging dat de modellen voor ieder Nederlands bedrijfsproces even bruikbaar zijn.

De score zegt nog niets over Nederlands

Sarvam rapporteert een gemiddelde stijging van 42,6 bij de checkpoint uit februari naar 73,9 nu. Binnen de genoemde tests gaat IFBench voor het volgen van instructies van 32,5 naar 82,5, Tau2 voor toolgebruik van 46,2 naar 85,5 en de eigen Indic-suite van 30,1 naar 79,1. Voor een agent die klantvragen afhandelt, zijn instructies en toolgebruik relevant; de Indic-score meet vooral de taalfit waar Sarvam zijn product op richt.

De gepubliceerde evaluatie bevat geen score voor Nederlands. Ook noemt de aankondiging geen Europese API-regio of voorwaarden voor de verwerking van verzoeken in die regio. De offline demonstratie bewijst dat één opstelling zonder netwerk kan werken, niet dat de gehoste API dezelfde datagrens biedt. Dat zijn aparte vragen voor een Nederlandse inkoper.

Pratyush Kumar kondigt in zijn X-bericht modellen voor visie, spraak en edge aan binnen twee weken. Moneycontrol meldt dezelfde planning en noemt ₹25 per miljoen uitvoertokens. Die planning is een routekaart, geen aanbod dat vandaag al getest kan worden. De release maakt voor Nederlandse teams één stap concreet: één werkstation kan deze gekwantiseerde checkpoint draaien. Of dat goedkoper uitvalt dan een API hangt af van bezetting, aanschaf en beheer van de GPU. De inkoopkeuze hangt ook af van Europese verwerking van API-verzoeken en de uitkomst van een Nederlandse taaltest.

Veelgestelde vragen

Alisina Nawabi
Geschreven doorAlisina Nawabi

AI Product Engineer & Solutions Architect

Van model naar product

Ik denk mee over de juiste model- en hostingkeuze, ontwerp de oplossing en realiseer en automatiseer het hele traject tot livegang. Waar het past, bouw ik self-hosted.

Meer informatie

Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.

Genoemde integraties

Dit artikel noemt deze tools. Ik koppel ze op maat aan je eigen systemen.

Gerelateerde artikelen

Salesforce brengt open spraakmodel met Nederlands uit
Nieuws
5 min

13 nov 08:36

Salesforce brengt open spraakmodel met Nederlands uit

SOV-Transcribe-1 van Salesforce voegt Nederlands toe aan een open spraakmodel. De onafhankelijke ranglijst bevestigt 2,3% afgerond, maar meet geen Nederlandse audio; de lokale test gebruikt een 96GB-GPU.

NVIDIA brengt multimodaal Nemotron 3.5 Super VL uit
Nieuws
5 min

15 okt 18:12

NVIDIA brengt multimodaal Nemotron 3.5 Super VL uit

NVIDIA zet de downloadbare gewichten van Nemotron 3.5 Super VL online. Het model leest tekst, documenten, afbeeldingen en video, maar de NVFP4-versie weegt 75,1 GB en vraagt krachtige GPU-hardware.

Thinking Machines stelt Inkling 2 Small-gewichten beschikbaar
Nieuws
5 min

13 nov 06:27

Thinking Machines stelt Inkling 2 Small-gewichten beschikbaar

Inkling 2 Small is nu downloadbaar onder Apache 2.0. De hoofdvariant vraagt 500 GB GPU-geheugen; de huidige vLLM- en SGLang-recepten vragen nog test- of ontwikkelversies.

DeepSeek opent DeepInfer voor lokale inference
Nieuws
5 min

20 okt 14:35

DeepSeek opent DeepInfer voor lokale inference

DeepSeek zet het framework achter zijn productie-inference open source. De eerste versie draait offline voor één model op NVIDIA SM100 of Huawei Ascend 950 en mist onderdelen voor complete online serving.

AWS zet Reflection Beam in SageMaker JumpStart
Nieuws
4 min

16 okt 22:15

AWS zet Reflection Beam in SageMaker JumpStart

AWS biedt Reflection Beam aan via SageMaker JumpStart in twee Amerikaanse regio’s. De beheerde route vereenvoudigt testen, maar regio, GPU-capaciteit en meetbare prestaties blijven bepalend voor Nederlandse teams.

IFM geeft zes AI-modellen vrij met trainingscode en pre-trainingsdata
Nieuws
5 min

3 sep 18:36

IFM geeft zes AI-modellen vrij met trainingscode en pre-trainingsdata

Het Abu Dhabi-instituut IFM geeft zes AI-modellen van 0,9 tot 375 miljard parameters vrij met trainingscode en pre-trainingscorpus. Op de modelkaarten wijkt de licentie op een punt af van het persbericht.