Input-tokens

Prompt caching onthoudt je gesprek niet en bewaart geen antwoord. Het hergebruikt het rekenwerk over een vaste voortekst, zodat je die niet elke beurt opnieuw betaalt. Zo werkt het, en wanneer het loont.

Een AI-model onthoudt je gesprek niet. Elke beurt stuurt de app de hele geschiedenis opnieuw mee als context. Zie zwart op wit waarom een lang gesprek duurder en trager wordt, en wat het contextvenster is.