KV-cache

NaiveAI geeft de gewichten en inferentiecode van Naive-N0.5-Flash vrij onder MIT. Het model telt 309 miljard parameters, maar circa 315 GB aan FP8-gewichten maakt GPU-capaciteit en beheer doorslaggevend.

Huawei introduceert OceanStor M900 voor AI-inferentie met gedeelde KV-cache tot 64 petabyte per cluster. De opslaglaag moet lange contexten sneller verwerken en de kosten van grootschalige inferentie verlagen.