Hoe AI voorspelt: zo maakt een taalmodel tekst, token voor token

Je denkt waarschijnlijk dat een AI je vraag leest, begrijpt wat je bedoelt, het antwoord ergens opzoekt en er dan een nette zin van maakt. Er klopt geen woord van. Een taalmodel doet één ding, keer op keer: het berekent op grond van alle tekst tot nu toe hoe waarschijnlijk elk mogelijk volgend stukje is, kiest er één, plakt het aan, en begint opnieuw.

Kijk eerst wat er gebeurt, de naam komt daarna.

Neem deze halve zin: "De hoofdstad van Frankrijk is ___". Vraag je niet af wat jíj zou invullen, maar wat het model als vervolg berekent. Hieronder staat schematisch wat eruit rolt.

Bijna alle kans gaat naar één token: Parijs. Geen twijfel, geen afweging, geen opzoekactie in een feitentabel. Puur op grond van de patronen die het uit zijn trainingstekst haalde, is Parijs verreweg het waarschijnlijkste vervolg.

Verander nu één woord: "Mijn favoriete stad is ___". Nu is er geen juist antwoord, en dat zie je meteen terug in de vorm van de verdeling.

Hetzelfde mechanisme, een totaal andere zekerheid. De kans is nu uitgesmeerd over tientallen steden, elk met een bescheiden aandeel en samen een lange staart. De exacte percentages verschillen per model en per tokenizer; het gaat om de vorm van de verdeling. En precies hier zie je wat het model écht doet: het verdeelt kansen over mogelijke vervolgen. Het zoekt geen feit op, want er valt niets op te zoeken.

Dat is next-token-voorspelling, de motor onder elk taalmodel. Bij elke stap zet het model alle voorgaande tekst om in een score voor elk token in zijn woordenlijst, rekent die scores om naar kansen die samen op honderd procent uitkomen, kiest er één token uit, plakt het achter de tekst en herhaalt de hele som. Zo groeit een antwoord token voor token, van links naar rechts.

Die eenheid is geen woord en geen letter, maar een token: een fragment uit een vaste woordenlijst van ongeveer 200.000 stukjes, en juist daarom lukt het een model zo slecht om de losse letters in een woord te tellen. Belangrijk detail: tijdens dat rondje ziet het model zijn eigen antwoord nooit vooruit. Het plant geen zin. Bij "Parijs" weet het nog niet dat daarachter "is de hoofdstad" komt; dat berekent het pas als "Parijs" er eenmaal staat.

Waarom krijg je niet twee keer hetzelfde antwoord?

Kiezen is niet altijd de topkandidaat pakken. Pakte het model altijd het allerwaarschijnlijkste token, dan kreeg je op dezelfde prompt telkens exact hetzelfde antwoord. Dat gebeurt niet, want er wordt gesampled: een token wordt getrokken volgens de kansen, zodat een token van 11 procent ook echt af en toe wint.

Hoe wild dat trekken mag, bepaalt één knop: de temperature. Zet je hem laag (richting 0), dan worden de kansen verscherpt en pakt het model bijna altijd de topkandidaat, voorspelbaar en braaf. Zet je hem hoog, dan worden de kansen afgevlakt en maken minder waarschijnlijke tokens meer kans, losser en creatiever. Bij OpenAI loopt die knop van 0 tot 2, met 1 als standaardwaarde; bij Anthropic van 0 tot 1. En zelfs op 0 is de uitkomst niet gegarandeerd honderd procent identiek. Dat is de hele reden dat dezelfde vraag twee keer een net iets ander antwoord oplevert.

Waar zit die kennis dan?

Die kansen komen ergens vandaan, maar niet uit een database met feiten. Ze zitten in de gewichten van het model: miljarden getallen die tijdens de training zijn bijgesteld op enorme hoeveelheden tekst, tot ze de patronen in taal vastlegden. Daar zit meteen de adder. Een hoge kans betekent "dit past statistisch goed", niet "dit is waar". Vraag naar een boek dat niet bestaat en het model heeft nog steeds voor elk volgend token een kansverdeling; het plakt vloeiend een plausibel klinkende titel en auteur aan elkaar, met dezelfde zelfverzekerde toon als bij Parijs. Zo ontstaat zelfverzekerde onzin: geen storing, maar het mechanisme dat precies doet waarvoor het gebouwd is.

Datzelfde verklaart waarom je prompt zo veel uitmaakt. Je prompt is niets anders dan de voorgaande tokens waarop het model zijn kansen baseert. Verander je de prompt, dan verander je de startverdeling van alles wat volgt. Veel meer is prompting niet: je stuurt de kansen door de tekst te sturen die eraan voorafgaat. En in een gesprek geldt dat voor alles wat er al staat: de context ís je prompt, elke beurt opnieuw.

En de redeneermodellen dan, die "nadenken"?

Ook de nieuwere redeneermodellen, de thinking-varianten van de actuele GPT-, Claude- en Gemini-lijnen, gebruiken exact dit trucje. Het enige verschil: ze produceren eerst een lange sliert denk-tokens, een soort kladblok waarin ze stap voor stap redeneren, voordat ze het eigenlijke antwoord genereren. Nog steeds token voor token, nog steeds kansen, nog steeds geen blik vooruit. Het model denkt niet naast het voorspellen; het denken ís meer voorspellen.

Test nu of het blijft hangen. Kies bij elke vraag het antwoord dat klopt bij wat je net zag gebeuren.

Zodra je een AI ziet als een kansmachine in plaats van een orakel, vallen de rare kanten op hun plek. Dat het vloeiend onzin kan verkopen. Dat het niet kan tellen. Dat dezelfde vraag twee antwoorden geeft. Dat een scherpere prompt een scherper antwoord oplevert. Het is telkens datzelfde ene trucje: welk token komt er nu waarschijnlijk achteraan?