Hoe snel is AI? Waarom snelheid twee klokken is, niet een getal

Je denkt waarschijnlijk dat "snelle AI" een enkel getal is: een model is snel of het is traag, en een trage reactie betekent gewoon een traag model. Geen van beide klopt. Er lopen twee heel verschillende klokken, en welke van de twee je voelt hangt af van wat je vraagt, niet alleen van welk model je koos.

Plak eens een lang document in een chatbot en stel je vraag. De cursor knippert. Een paar seconden lang gebeurt er niets. En dan, ineens, rolt het antwoord er vlot uit, woord na woord. Stel daarna een korte vraag van een regel aan datzelfde model: nu staat het eerste woord er bijna meteen. Zelfde model, hetzelfde onder de motorkap, en toch voelde het eerste geval traag en het tweede kwiek. Het verschil zat niet in het model, maar in welke klok aan het werk was.

Wat je daar zag heeft twee namen. De snelheid van AI is geen enkel cijfer maar twee klokken. De eerste is de wachttijd tot het eerste woord (in het Engels time-to-first-token): voordat het model ook maar een token teruggeeft, leest het eerst je hele invoer in. De tweede is de doorvoer, het aantal tokens per seconde daarna, terwijl het antwoord stuk voor stuk wordt gemaakt. Snel is dus niet een getal; het hangt ervan af welke klok je bedoelt.

Waarom voelt een chatbot vlot terwijl het volledige antwoord even duurt?

Omdat je het antwoord ziet opbouwen in plaats van te wachten op het complete blok. Een model streamt: het stuurt elk token door zodra het gemaakt is. Anthropic doet dat met server-sent events die de tekst stukje bij beetje binnenlaten komen, en OpenAI net zo. Het laatste woord komt op precies hetzelfde moment als zonder streamen, dus de totale tijd verandert niet. Wat wel verandert is wat je voelt: je leest al mee terwijl de rest nog gemaakt wordt.

Zet streamen uit en je staart naar een leeg scherm tot alles in een keer verschijnt, ook al duurt de decode even lang. Zet het aan en de wachttijd die telt is alleen die eerste stilte, de prefill; zodra token 1 er is, voelt het alsof het antwoord er al is. Streaming maakt AI niet echt sneller, het maakt de tweede klok zichtbaar terwijl hij tikt.

Wat vertraagt je vraag: de stilte of het tempo?

Twee klokken betekent twee soorten traagheid, met twee soorten oplossingen. Blijft het lang stil voordat er iets komt, dan zit de rem in de prefill: je invoer is lang. Kort je context in zodat er minder in te lezen valt, of gebruik prompt caching voor een vaste voortekst, want een gecachete prefix hoeft het model niet opnieuw door te rekenen en dat verkort de wachttijd tot het eerste woord. Druppelen de woorden daarna traag binnen, dan is de doorvoer de rem: een groot model levert minder tokens per seconde, dus kies voor een simpele taak een kleiner en sneller model. Loop het even na.

Drie keuzes, een helder onderscheid: wie merkt dat de stilte vooraan zit weet dat het aan de prefill ligt, wie merkt dat het tempo daarna traag is weet dat het aan de doorvoer ligt. Dat is precies waarom "welk model is het snelst" de verkeerde vraag is.

Onthoud dit ene: vraag nooit "is dit model snel", maar "welke klok voel ik". De stilte voor het eerste woord en het tempo daarna zijn twee verschillende dingen, met twee verschillende oorzaken en twee verschillende knoppen. Wie dat onderscheid maakt, kiest niet op een los snelheidscijfer maar op wat de taak echt nodig heeft.