Waarom AI varieert: temperatuur en toeval

Je stelt ChatGPT drie keer exact dezelfde vraag en krijgt drie verschillende antwoorden. De meeste mensen trekken dan een van twee conclusies: dit ding is onbetrouwbaar, of het is halverwege van gedachten veranderd. Allebei onwaar. Een taalmodel kiest namelijk nooit HET volgende woord. Het berekent bij elke stap een kansverdeling over alle mogelijke volgende tokens en trekt daar een uit, precies zoals bedoeld.

Kijk zelf. Vraag drie keer: "schrijf een openingszin voor een blog over koffie." Je krijgt drie verschillende zinnen. Vraag daarna hoeveel twee plus twee is, en je krijgt elke keer vier. Zelfde model, zelfde moment, totaal ander gedrag. Dat verschil is de hele les.

Wat er onder de motorkap gebeurt bij dat ene woord, ziet er zo uit:

Dat trekken heet sampling, en het is de kern van het antwoord. Waarom varieert AI? Omdat een taalmodel bij elk volgend woord geen enkele keuze maakt, maar een kansverdeling over alle mogelijke vervolg-tokens berekent en daar een uit trekt. Elk tekststukje dat het model verwerkt is een token, soms een heel woord, soms een deel. Temperatuur is de knop die die verdeling herschaalt: laag maakt hem scherper richting het waarschijnlijkste token, hoog maakt hem vlakker, zodat ook minder voor de hand liggende tokens kans maken.

Zet dat om in drie lagen, van intuitie naar mechaniek:

Waarom geeft twee plus twee wel altijd vier?

Omdat niet elke kansverdeling even vlak is. Bij "twee plus twee is..." is de kans op "vier" zo overweldigend, ver boven de 99%, dat er feitelijk niets te kiezen valt: welke temperatuur je ook zet, sampling trekt vrijwel altijd "vier". Bij een openingszin over koffie liggen tientallen woorden dicht bij elkaar in kans. "Er", "De", "Koffie", "Niets", allemaal plausibel. Dan bepaalt de trekking welk woord het wordt, en dus krijg je elke keer een andere zin. Dezelfde temperatuur, totaal ander gedrag, puur omdat de ene verdeling piekt en de andere plat is.

De knop zelf werkt op de vorm van die verdeling. Hogere waarden maken de uitvoer willekeuriger, lagere waarden gefocuster en meer deterministisch, zo omschrijft OpenAI temperatuur in de eigen documentatie. Zet hem laag bij een feitvraag of bij code, waar je consistentie wilt. Zet hem hoger bij brainstormen of tekst, waar je juist variatie zoekt. Naast temperatuur bestaat er nog een verwante knop, top-p of nucleus sampling. Waar temperatuur de hele verdeling herschaalt, snijdt top-p de staart eraf: het model kijkt alleen naar de kleinste groep topwoorden waarvan de kansen samen een drempel halen, bijvoorbeeld 90%, en negeert de rest. Temperatuur is de hoofdknop, top-p het fijnere mes ernaast.

En als je hem op nul zet?

Dan wordt je uitvoer een stuk voorspelbaarder, maar niet gegarandeerd identiek. Zelfs met temperatuur op nul is het resultaat niet volledig deterministisch en kan dezelfde invoer verschillende uitvoer geven, stelt Anthropic expliciet, onder meer door de manier waarop de berekening parallel over de hardware loopt. Reken dus niet op een machine die op nul altijd woord voor woord hetzelfde zegt. Laag zetten drukt de variatie sterk terug; het zet hem niet gegarandeerd uit.

Een onderscheid wil ik scherp houden: variatie is niet hetzelfde als een verzonnen feit, een hallucinatie. Een ander gekozen woord is normaal en gewenst, zeker voor creatief werk. Maar hoe hoger de temperatuur, hoe vlakker de verdeling, en hoe groter de kans dat er een onwaarschijnlijk, ronduit fout token wordt getrokken. De variatie is by design; de onzin is het risico dat meelift zodra je de knop te ver opendraait.

Terug naar de praktijk. Welke kant zet je de knop op?

Zodra je dit ziet, verandert je verwachting van AI. Een wisselend antwoord is geen hapering en geen humeur, het is een dobbelsteen waarvan jij zelf bepaalt hoe scheef hij ligt. Wie dat snapt, stopt met vragen waarom het niet consistent is en begint te sturen: laag voor wat vast moet liggen, hoog voor wat mag verrassen. De variatie was er altijd al. Nu weet je waar de knop zit, en wat hij precies doet.