Prompt caching

vereist dat het stabiele deel vooraan in de prompt staat

“Zet het stabiele deel vooraan: eerst je tool-definities, dan je system prompt, dan de vaste documenten of voorbeelden die niet per vraag veranderen.”

bewaart geen antwoord en geen geheugen maar het rekenwerk over de voortekst

“prompt caching bewaart geen antwoord en geen geheugen, maar het rekenwerk over de voortekst die je toch al elke beurt herhaalt.”

verlaagt de kosten tot een tiende van het normale invoertarief

“het gecachete deel kost ordegrootte een tiende (OpenAI: 0,10 tegen 1 dollar per miljoen)”

vereist dat vaste delen vooraan staan en variabele delen achteraan om cache-treffers te krijgen

“zet alles wat vast staat vooraan, en alles wat per aanroep verschilt achteraan”

verlaagt de inputprijs met 90% bij herhaald lezen van de cache

“elke volgende keer dat de cache wordt gelezen, betaal je nog maar 10% van de inputprijs”

wordt aanbevolen om te voorkomen dat voor onveranderde systeemprompts telkens de volle prijs wordt betaald

“Zet prompt caching aan. Veel agents sturen bij elke aanroep dezelfde grote systeemprompt... Daar betaal je telkens de volle prijs voor”