Nieuws5 min
20 okt 16:32
llm-d 1.0 voegt productiebeheer toe aan AI-inferentie
llm-d 1.0 voegt prioriteitssturing, upgrades zonder onderbreking en een stabiele API toe aan de open Kubernetes-laag voor AI-inferentie. De kostenclaims gelden voor specifieke agentbenchmarks en vragen om eigen GPU-capaciteit.