Alisina NawabiJe kunt uitleggen waarom de snelheid van AI uit twee klokken bestaat, de wachttijd tot het eerste woord en het tempo daarna, en per situatie benoemen wat de vertrager is en wat je eraan doet.
Handig vooraf: Wat is een token
Je denkt waarschijnlijk dat "snelle AI" een enkel getal is: een model is snel of het is traag, en een trage reactie betekent gewoon een traag model. Geen van beide klopt. Er lopen twee heel verschillende klokken, en welke van de twee je voelt hangt af van wat je vraagt, niet alleen van welk model je koos.
Plak eens een lang document in een chatbot en stel je vraag. De cursor knippert. Een paar seconden lang gebeurt er niets. En dan, ineens, rolt het antwoord er vlot uit, woord na woord. Stel daarna een korte vraag van een regel aan datzelfde model: nu staat het eerste woord er bijna meteen. Zelfde model, hetzelfde onder de motorkap, en toch voelde het eerste geval traag en het tweede kwiek. Het verschil zat niet in het model, maar in welke klok aan het werk was.
Wat je daar zag heeft twee namen. De snelheid van AI is geen enkel cijfer maar twee klokken. De eerste is de wachttijd tot het eerste woord (in het Engels time-to-first-token): voordat het model ook maar een token teruggeeft, leest het eerst je hele invoer in. De tweede is de doorvoer, het aantal tokens per seconde daarna, terwijl het antwoord stuk voor stuk wordt gemaakt. Snel is dus niet een getal; het hangt ervan af welke klok je bedoelt.
Stel je iemand voor aan wie je een lange brief voorlegt met een vraag eronder. Eerst leest hij je hele brief, en zolang hij leest hoor je niets terug: dat is de stilte tot het eerste woord. Daarna schrijft hij zijn antwoord, zin voor zin, in zijn eigen tempo. Een korte brief is zo gelezen en het antwoord komt bijna meteen; een dik pak papier kost eerst leestijd. In beide gevallen is het dezelfde persoon met dezelfde schrijfsnelheid.
Waarom voelt een chatbot vlot terwijl het volledige antwoord even duurt?
Omdat je het antwoord ziet opbouwen in plaats van te wachten op het complete blok. Een model streamt: het stuurt elk token door zodra het gemaakt is. Anthropic doet dat met server-sent events die de tekst stukje bij beetje binnenlaten komen, en OpenAI net zo. Het laatste woord komt op precies hetzelfde moment als zonder streamen, dus de totale tijd verandert niet. Wat wel verandert is wat je voelt: je leest al mee terwijl de rest nog gemaakt wordt.
Zet streamen uit en je staart naar een leeg scherm tot alles in een keer verschijnt, ook al duurt de decode even lang. Zet het aan en de wachttijd die telt is alleen die eerste stilte, de prefill; zodra token 1 er is, voelt het alsof het antwoord er al is. Streaming maakt AI niet echt sneller, het maakt de tweede klok zichtbaar terwijl hij tikt.
Wat vertraagt je vraag: de stilte of het tempo?
Twee klokken betekent twee soorten traagheid, met twee soorten oplossingen. Blijft het lang stil voordat er iets komt, dan zit de rem in de prefill: je invoer is lang. Kort je context in zodat er minder in te lezen valt, of gebruik prompt caching voor een vaste voortekst, want een gecachete prefix hoeft het model niet opnieuw door te rekenen en dat verkort de wachttijd tot het eerste woord. Druppelen de woorden daarna traag binnen, dan is de doorvoer de rem: een groot model levert minder tokens per seconde, dus kies voor een simpele taak een kleiner en sneller model. Loop het even na.
Waar zit de traagheid: in de stilte voor het eerste woord, of in het tempo waarmee de woorden daarna binnenkomen?
Drie keuzes, een helder onderscheid: wie merkt dat de stilte vooraan zit weet dat het aan de prefill ligt, wie merkt dat het tempo daarna traag is weet dat het aan de doorvoer ligt. Dat is precies waarom "welk model is het snelst" de verkeerde vraag is.
Onthoud dit ene: vraag nooit "is dit model snel", maar "welke klok voel ik". De stilte voor het eerste woord en het tempo daarna zijn twee verschillende dingen, met twee verschillende oorzaken en twee verschillende knoppen. Wie dat onderscheid maakt, kiest niet op een los snelheidscijfer maar op wat de taak echt nodig heeft.
Veelgestelde vragen
AI die snel aanvoelt
Ik denk met je mee, ontwerp en bouw het AI-systeem waarin ik per taak het juiste model kies en met streaming en caching zorg dat het eerste woord snel komt, van idee tot live.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
