DeepSeek opent DeepInfer voor lokale inference

DeepSeek opent op 20 oktober DeepInfer onder Apache 2.0, een framework voor offline inference van V4.1-Flash op NVIDIA SM100 of Huawei Ascend 950, voor teams die het model zelf willen draaien.

Een Nederlands team kan daarmee het model op eigen infrastructuur testen, bijvoorbeeld wanneer klantgegevens of broncode niet naar een externe model-API mogen. Daarvoor is toegang nodig tot een van twee specifieke acceleratorfamilies. De eerste versie verwerkt opdrachten offline. Een online dienst met een API, gebruikers en gelijktijdige verzoeken vraagt nog een aparte servinglaag.

De code richt zich op één model

De repository noemt DeepSeek-V4.1-Flash als het enige ondersteunde model. Het standaardcheckpoint is de 1017-versie, die DeepSeek op 17 oktober uitbracht. Die update haalde een Pass@1-score van 77,0% op de DeepSWE v1.1-benchmark; de modelaanroepnaam bleef deepseek-flash. DeepInfer ondersteunt dus niet automatisch andere DeepSeek-modellen of modellen van andere aanbieders.

De engine bundelt geoptimaliseerde rekenkernen en verdeelt aandachtstaken via DP en balanced CP. Voor Mixture-of-Experts-modellen gebruikt DeepInfer EP en EPLB. Ook bevat de engine DSpark voor speculatief decoderen, asynchrone planning en uitvoer volgens regex, JSON-schema of EBNF. Bij speculatief decoderen stelt het model tokens vooruit voor die het daarna samen controleert. DeepSeek zet de maximale reeks standaard op vijf voorstellen. SWA bounded replay beperkt het opnieuw verwerken tot de laatste 140 tokens in de standaardinstelling.

De bouwinstructies vragen Linux, GCC 13 of hoger en Python 3.12. Voor NVIDIA is CUDA 13 nodig; voor Ascend noemt DeepSeek CANN 9.2. Het zijn gerichte eisen voor de hardware die de repository noemt, geen algemene installatie voor iedere GPU-server. DeepSeek geeft de enginecode uit onder Apache 2.0. De V4.1-Flash-1017-gewichten vallen onder MIT, een aparte licentie voor het model.

De benchmark ruilt snelheid voor doorvoer

De grafieken meten een specifiek gebruiksscenario. DeepSeek draaide de prefilltest op vier SM100-GPU's en de decodetest op 64, telkens binnen één schaalbare hardwaregroep. Dat zijn de gebruikte benchmarkopstellingen, geen door DeepSeek opgegeven minimumaantallen voor elke installatie.

In de decodetest stijgt de totale doorvoer per GPU van ongeveer 2.600 naar 26.300 tokens per seconde wanneer het aantal verzoeken per parallelle modelkopie oploopt van 8 naar 256. Tegelijk daalt de snelheid per gebruiker van circa 325 naar 103 tokens per seconde. De hogere capaciteit komt dus met tragere individuele antwoorden. De grafiek gebruikt een context van 131.072 tokens en gaat uit van 75 procent acceptatie van voorgestelde tokens.

Bij prefill stijgt de gemeten doorvoer van ongeveer 60.000 tokens per seconde per GPU bij een batch van 4.096 tokens naar circa 89.500 bij 65.536 tokens. De vertraging per prefill-stap loopt daarbij op van ongeveer 68 naar 730 milliseconden. De cijfers tonen dat de uitkomst afhangt van batchgrootte en fase van het antwoord. Het zijn DeepSeeks eigen grafieken, zonder vergelijking met vLLM, SGLang of een ander model. Ze zeggen op zichzelf niet wat een Nederlandse organisatie per taak betaalt.

DeepSeek bouwt voort op de kernel-laag

De release volgt op de zes Ascend-modules die DeepSeek op 30 september open source maakte, waaronder programmeer- en rekenbibliotheken. Die vrijgave ging vooral over softwareonderdelen voor de chip. DeepInfer zet die optimalisaties samen met modelruntime en planning in een engine. De repository vermeldt dat DeepInfer grotendeels op vLLM is gebouwd, met inspiratie uit SGLang en NVIDIA TensorRT-LLM.

Er zijn meer routes om software aan chips te koppelen. In april beschreef Google hoe PyTorch op TPU's kan draaien. Google zegt dat Fused Eager 50 tot ruim 100 procent sneller draait dan Strict Eager en schrijft dat modellen met aandachtsdimensies van 64 voor maximale TPU-prestaties soms aanpassing naar 128 of 256 vragen. Dat zijn Googles eigen cijfers voor twee uitvoermodi, geen vergelijking met DeepSeeks doorvoergrafieken. De parallel laat zien dat een gedeelde programmeerinterface hardwarewerk niet wegneemt.

Voor een Nederlandse organisatie verandert daarmee vooral de keuze van wat zij zelf wil beheren. DeepSeek opent de reken- en planningscode voor twee hardwarefamilies, terwijl de praktische uitkomst nog per model, versneller en werklast moet worden gemeten. DeepSeeks API blijft een aparte route naast de eigen uitvoering van het model.

Een engine is nog geen API-dienst

DeepSeek zegt dat drie onderdelen ontbreken voor een complete inference-service: een KV-cache, de scheiding van prefill en decode, en load balancing tussen replica's. Dat laatste verdeelt aanvragen over meerdere kopieën van het model. DeepSeek publiceerde ook deepseek-recipe, software die verzoeken uit Messages, Chat Completions en Responses naar een DeepSeek-prompt omzet. Die repository zegt dat de gebruiker zelf inference, gereedschapsuitvoering en HTTP-verkeer moet leveren.

Teams met geschikte hardware kunnen de engine nu beoordelen en offline taken verwerken. Daarmee opent DeepSeek een specifieke rekenlaag voor twee acceleratorfamilies. Voor een klantgerichte dienst moet de implementerende organisatie daarnaast de online-servingketen samenstellen.