Prompt caching: betaal de voortekst niet elke keer opnieuw

Je denkt waarschijnlijk dat prompt caching betekent dat de AI je gesprek onthoudt, of dat hij een eerder antwoord bewaart en teruggeeft, zoals je browser een pagina uit de cache haalt. Geen van beide klopt. Er wordt niets van het antwoord opgeslagen en er is geen geheugen: wat bewaard wordt is het rekenwerk over de voortekst die je elke beurt herhaalt.

Reken het voor aan een chatbot met een vaste system prompt van zo'n 2.000 tokens: instructies, toon en wat vaste kennis, die bij elk verzoek meegaat. Bij GPT-5.6 (het luna-tarief van 1 dollar per miljoen invoer-tokens) kost die voortekst je 0,2 dollarcent per verzoek. Niets, tot je bedenkt dat het model tussen beurten niets onthoudt en die voortekst elke keer opnieuw meestuurt. Duizend gesprekken later heb je 2 dollar betaald om exact dezelfde 2.000 tokens duizend keer te laten inlezen. Met caching betaal je ze één keer echt, en daarna lees je ze tegen een tiende.

Datzelfde blok van 2.000 tokens: 2 dollar als je het elke keer opnieuw laat verwerken, ongeveer 20 dollarcent als je het cachet. Tien keer goedkoper, en dat is nog voordat je meetelt dat het eerste antwoord-token ook sneller komt, omdat het model die voortekst niet opnieuw hoeft door te rekenen.

Wat je daar zag heeft een naam. Prompt caching is een korting op de invoer die je elke beurt herhaalt. Het model bewaart het verwerkte rekenwerk over een voortekst die byte-voor-byte identiek vooraan staat, zodat het die bij een volgend verzoek niet opnieuw hoeft te verwerken. Je betaalt eenmaal een kleine schrijfkost en leest daarna tegen ongeveer een tiende van het invoertarief. Het is geen geheugen: elk antwoord wordt nog steeds vers gegenereerd. De analogie die klopt: een docent die elke les met dezelfde tien minuten inleiding begint, zet die inleiding één keer op een kaart en pakt daarna de kaart, in plaats van alles opnieuw te vertellen. Jouw nieuwe vraag beantwoordt hij nog steeds vers.

Waarom moet het stabiele deel per se vooraan?

Caching werkt op een prefix: alles vanaf de allereerste token tot aan een breekpunt, en dat stuk moet teken voor teken gelijk zijn aan een eerdere call. Anthropic zegt het met zoveel woorden: een cache-hit vereist 100% identieke prompt-segmenten. Verander je één komma vooraan, dan verschuift alles erachter en mist de cache alles vanaf dat punt.

Daarom is de volgorde geen detail. Zet het stabiele deel vooraan: eerst je tool-definities, dan je system prompt, dan de vaste documenten of voorbeelden die niet per vraag veranderen. Het variabele deel, de nieuwe vraag van de gebruiker, hoort helemaal achteraan. De prefix begint namelijk bij je system prompt, en dat is precies het deel dat tussen verzoeken hetzelfde blijft. Gooi je je actuele vraag bovenaan, dan is er nooit twee keer dezelfde prefix en valt er niets te hergebruiken.

Wanneer verlies je die korting weer?

Gratis is de eerste keer niet. Die eerste verwerking, de cache-write, kost juist iets méér dan een gewone invoer: bij Anthropic 1,25x het invoertarief voor de standaard-cache van 5 minuten, of 2x voor de variant van 1 uur. Je betaalt dus vooraf een kleine premie om daarna goedkoop te kunnen lezen.

Reken het omslagpunt uit en het is geruststellend laag. Eén write van 1,25x plus één read van 0,1x is samen 1,35x, tegen 2x als je diezelfde voortekst twee keer gewoon zou versturen. Vanaf het tweede verzoek ben je dus al goedkoper uit. Bij een chatbot die honderden keren per uur draait is die eenmalige premie verwaarloosbaar.

Het venster is wel echt. Een Anthropic-cache leeft standaard 5 minuten, en elke keer dat je hem raakt zet die teller terug op vol, dus een druk systeem houdt hem vanzelf warm. Bij OpenAI gebeurt het automatisch, zonder dat je er iets voor hoeft te coderen, en blijft een prefix minstens zo'n half uur beschikbaar. Maar liggen je verzoeken ver uit elkaar, een handvol per dag bijvoorbeeld, dan is de cache tussendoor verlopen en betaal je telkens opnieuw de write zonder ooit aan de goedkope reads toe te komen. Dan kost caching je juist geld.

En verandert je voortekst per call, dan valt er sowieso niets te cachen. Caching beloont herhaling; wisselt het stabiele deel elke beurt, dan is er geen prefix om te hergebruiken. Zelfs het tarief bewijst hoe scherp de korting is: bij OpenAI's GPT-5.6 is gecachete invoer 0,10 tegen 1 dollar per miljoen tokens, een tiende, niet de helft.

Loop nu even terug of jouw voortekst die korting eigenlijk wel kan pakken.

Drie vragen, één uitkomst: cachen loont pas als de voortekst identiek is, vooraan staat, en de verzoeken dicht genoeg op elkaar komen om binnen het venster te blijven. Mist er één, dan gooi je de korting weg of betaal je zelfs meer.

Onthoud dit ene: prompt caching bewaart geen antwoord en geen geheugen, maar het rekenwerk over de voortekst die je toch al elke beurt herhaalt. Wie dat stabiele deel vooraan zet en het wisselende deel achteraan, betaalt de aanloop nog één keer en daarna bijna niets, met een sneller eerste antwoord-token als toegift.