Quantisatie

Aikido brengt Altar uit, een open-weight cybersecuritymodel dat lokaal kan draaien zonder broncode naar een externe AI-dienst te sturen. Het model is gebaseerd op GLM-5.3, gebruikt 328 GB opslag en draait volgens de modelkaart op vier H200’s met vLLM.

Een spin-off van Caltech comprimeert een volwaardig redeneermodel van 27 miljard parameters tot minder dan 4 gigabyte, klein genoeg voor een iPhone zonder cloud. Lokale AI zonder tokenrekening komt zo binnen bereik van elk bedrijf.