Uitgelegd6 min
11 jul 23:42
Hoe snel is AI? Waarom snelheid twee klokken is, niet een getal
Snelle AI is geen enkel getal. Er lopen twee klokken: de wachttijd tot het eerste woord (de prefill) en het tempo daarna in tokens per seconde (de decode). Streaming maakt het snel-voelend zonder de totale tijd te veranderen. Zo weet je wat een vraag traag maakt en wat je eraan doet.