Concept

Cache-hitratio

Percentage antwoorden dat uit cache komt in plaats van opnieuw gegenereerd

Nieuws· 2

Huawei introduceert OceanStor M900 voor AI-inferentie

Nieuws

4 min

18 sep 01:32

Huawei introduceert OceanStor M900 voor AI-inferentie

Huawei introduceert OceanStor M900 voor AI-inferentie met gedeelde KV-cache tot 64 petabyte per cluster. De opslaglaag moet lange contexten sneller verwerken en de kosten van grootschalige inferentie verlagen.

Coinbase halveert zijn AI-rekening met Chinese modellen en slimme routing

Nieuws

6 min

28 jun 16:26

Coinbase halveert zijn AI-rekening met Chinese modellen en slimme routing

Coinbase bracht zijn AI-kosten bijna omlaag met de helft terwijl het tokenverbruik juist steeg. Topman Brian Armstrong deelt het draaiboek: Chinese open modellen, taakroutering en caching in plaats van budgetlimieten.