Speculative decoding

JetBrains brengt Mellum2.1 uit als open model voor codeeragenten. Het kan lokaal draaien, maar de benchmarks zijn zelfgerapporteerd en verschillen per taak; een aparte JetBrains-repo biedt inmiddels ook GGUF-bestanden.

DeepSeek bracht DSpark uit, een open techniek die zijn V4-modellen 60 tot 85 procent sneller laat antwoorden zonder kwaliteitsverlies. Voor bedrijven die het model draaien betekent dat lagere kosten per token, zelf-gehost of via de API.