Alisina NawabiJe kunt uitleggen dat een taalmodel niets onthoudt maar elke beurt de hele gespreksgeschiedenis opnieuw als context meekrijgt, wat het contextvenster is, en waarom lange context geld, snelheid en nauwkeurigheid kost.
Handig vooraf: Wat is een token
Je denkt waarschijnlijk dat ChatGPT of Claude onthoudt wat je eerder in het gesprek zei. Dat een model een soort geheugen heeft dat volloopt naarmate jullie doorpraten. Geen van beide klopt. Een taalmodel onthoudt niets; het is de app eromheen die elke beurt de volledige gespreksgeschiedenis opnieuw meestuurt als één lange invoer.
Kijk eerst wat er letterlijk over de lijn gaat elke keer dat je op enter drukt.
Merk je wat er bij vraag 3 gebeurt? De app stuurt niet alleen jouw nieuwe vraag, maar vraag 1, antwoord 1, vraag 2, antwoord 2 én vraag 3 opnieuw naar het model. Het model leest dat hele blok in één keer, produceert een antwoord, en houdt daarna niets vast. Die complete tekst die het model in één keer meekrijgt, heet de context. Het maximum dat erin past, heet het contextvenster.
Nu de rekening. Neem een gesprek van twintig beurten waarin elke beurt gemiddeld 200 tokens toevoegt: je vraag plus het antwoord. Beurt 1 verwerkt zo’n 200 tokens. Beurt 20 verwerkt de hele geschiedenis van zo’n 4.000 tokens opnieuw. Je zou verwachten dat het model over het hele gesprek 4.000 tokens leest. In werkelijkheid is het de som van elke beurt: 200 + 400 + 600, oplopend tot 4.000, oftewel ruwweg 42.000 input-tokens.
De vlakke lijn is wat je verwacht als het model je zou onthouden: elke beurt alleen je nieuwe vraag. De oplopende lijn is wat er echt gebeurt. Dat is waarom een lang gesprek merkbaar duurder en trager wordt, en waarom een vers gesprek vaak sneller voelt.
Context is dus alle tekst die een taalmodel in één keer meekrijgt om je vraag te beantwoorden: de systeeminstructie, de volledige gespreksgeschiedenis en je nieuwe vraag, allemaal gemeten in tokens. Het contextvenster is het maximum aantal tokens dat een model tegelijk kan zien, en dat verschilt per model.
Bij de huidige modellen loopt dat venster flink uiteen. Claude Opus 4.8 en Sonnet 5 zien tot een miljoen tokens in één keer, Claude Haiku 4.5 zo’n 200.000. Google’s Gemini 3.1 Pro en OpenAI’s GPT-5.6-lijn zitten eveneens rond een miljoen (1,05M voor GPT-5.6). Een groter venster betekent dat er meer geschiedenis of meer documenten tegelijk in passen, niet dat het model iets onthoudt: buiten dat venster bestaat je gesprek voor het model simpelweg niet.
En zit het venster vol, dan moet er iets wijken. De meeste apps gooien stilletjes de oudste beurten weg of vatten ze samen. Herken je dat een AI diep in een lang gesprek "vergeet" wat je aan het begin had afgesproken? Het model is niets vergeten; die afspraak zat simpelweg niet meer in wat er die beurt werd meegestuurd.
Stel je een examinator voor zonder enig geheugen. Elke vraag die je stelt krijgt hij samen met het complete dossier van jullie gesprek tot nu toe. Hij leest het dossier, geeft antwoord, en vergeet meteen alles. Wat hij weet is precies wat er in dat dossier staat, niks meer. Het gevoel dat hij je kent, komt doordat jij het dossier elke keer weer meelevert.
Waarom wordt hetzelfde gesprek elke beurt duurder?
Lange context kost je drie dingen, en het loont om ze los te zien.
Ten eerste geld. Input-tokens worden elke beurt opnieuw gefactureerd, dus de kosten groeien ruwweg lineair met de gesprekslengte. In het voorbeeld hierboven reken je niet voor 4.000 maar voor zo’n 42.000 input-tokens af over het hele gesprek. Precies daarom kan een vast tokenplafond verbergen hoeveel een AI-agent eigenlijk aankan: op is op, ongeacht hoe slim het model is.
Ten tweede snelheid. Meer tokens betekent meer rekenwerk voordat het eerste antwoord-token er is. Een beurt waarin het model 4.000 tokens moet doorlezen laat langer op zich wachten dan een verse beurt van 200. Het gesprek voelt traag, niet omdat het model dommer wordt, maar omdat het elke keer meer moet inlezen.
Ten derde nauwkeurigheid. Onderzoek van Liu en collega’s uit 2023 toonde dat informatie midden in een lange context slechter wordt teruggevonden dan aan het begin of einde. De prestatie is het hoogst als het relevante stuk voor- of achteraan staat, en zakt merkbaar in het midden. Dit heet lost in the middle. Anthropic waarschuwt er in zijn eigen documentatie inmiddels voor onder een bredere noemer, context rot: hoe voller het venster, hoe meer nauwkeurigheid en terugvindbaarheid eronder lijden. Een enorm venster volgooien maakt het antwoord dus niet automatisch beter; wat middenin verdwijnt, kan het model overslaan.
De praktische zet, als een gesprek traag en warrig wordt: begin een nieuw gesprek en geef in twee zinnen mee wat er nog toe doet. Geen bijgeloof, maar precies dit mechanisme.
Er is één ontsnapping aan de geld- en snelheidskosten: prompt caching. Stuur je elke beurt exact dezelfde voortekst (de systeemprompt plus het begin van de geschiedenis), dan kan die worden gecachet. Bij Anthropic kost het teruglezen uit die cache nog maar zo’n tiende van de normale prijs, fors goedkoper en sneller voor dat gecachete deel. Dat is een eigen onderwerp; hier telt vooral dat caching de rekening drukt, maar niets verandert aan de lost-in-the-middle-grens.
Even terughalen wat je net zag.
Onthoudt een taalmodel je vorige vraag?
Context is geen geheugen. Het is een raam dat elke beurt opnieuw wordt gevuld en meegestuurd: alles wat erin past ziet het model, al het andere bestaat voor hem niet. Snap je dat raam, dan snap je in één keer waarom een lang gesprek oploopt in kosten, waarom een vers gesprek opknapt, en waarom alles zomaar in het venster gooien zelden het scherpste antwoord geeft.
Veelgestelde vragen
AI die met context om kan gaan
Of een AI-functie werkt hangt af van wat er wel en niet in de context belandt: te weinig en het model mist het, te veel en het wordt traag en duur. Ik denk mee, ontwerp en bouw dat soort oplossingen end-to-end.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
