Inference benchmarking

llm-d 1.0 voegt prioriteitssturing, upgrades zonder onderbreking en een stabiele API toe aan de open Kubernetes-laag voor AI-inferentie. De kostenclaims gelden voor specifieke agentbenchmarks en vragen om eigen GPU-capaciteit.

DeepSeek zet het framework achter zijn productie-inference open source. De eerste versie draait offline voor één model op NVIDIA SM100 of Huawei Ascend 950 en mist onderdelen voor complete online serving.