DeepInfer

takes inspiration from SGLang and NVIDIA TensorRT-LLM

“met inspiratie uit SGLang en NVIDIA TensorRT-LLM.”

is built on vLLM for the most part

“De repository vermeldt dat DeepInfer grotendeels op vLLM is gebouwd”

limits SWA bounded replay to reprocessing the last 140 tokens by default

“SWA bounded replay beperkt het opnieuw verwerken tot de laatste 140 tokens in de standaardinstelling.”

requires CANN 9.2 for Ascend

“voor Ascend noemt DeepSeek CANN 9.2.”

requires CUDA 13 for NVIDIA

“Voor NVIDIA is CUDA 13 nodig”

requires Linux, GCC 13 or higher, and Python 3.12 to build

“De bouwinstructies vragen Linux, GCC 13 of hoger en Python 3.12.”

processes commands offline in its first version

“De eerste versie verwerkt opdrachten offline.”

supports DeepSeek-V4.1-Flash as its only supported model

“De repository noemt DeepSeek-V4.1-Flash als het enige ondersteunde model.”