Decode

Snelle AI is geen enkel getal. Er lopen twee klokken: de wachttijd tot het eerste woord (de prefill) en het tempo daarna in tokens per seconde (de decode). Streaming maakt het snel-voelend zonder de totale tijd te veranderen. Zo weet je wat een vraag traag maakt en wat je eraan doet.