KV-cache

Huawei introduceert OceanStor M900 voor AI-inferentie met gedeelde KV-cache tot 64 petabyte per cluster. De opslaglaag moet lange contexten sneller verwerken en de kosten van grootschalige inferentie verlagen.

Cloudflare meldt dat 155 antwoorden van GLM-5.3 via Workers AI gegevens uit eerdere klantverzoeken bevatten. De fout liep van 27 augustus tot 9 september en is volgens het bedrijf hersteld.

DeepSeek V4.1-Flash koppelt 196 miljard Engram-parameters aan een kleinere KV-cache. Daardoor verschuift de infrastructuur voor lange AI-agents van alleen GPU-geheugen naar een combinatie van GPU, systeemgeheugen en opslag.

DeepSeek brengt V4.1-Flash uit met native beeldinvoer, 1 miljoen tokens context en een tijdgebonden API-prijs. De modelkaart toont hogere scores op agentbenchmarks, terwijl caching en Nederlandse piekuren de werkelijke kosten bepalen.