Alisina NawabiJe kunt uitleggen waarom een AI op dezelfde vraag verschillende antwoorden geeft, en je weet wanneer je de temperatuur laag of hoog zet.
Handig vooraf: Hoe AI voorspelt
Je stelt ChatGPT drie keer exact dezelfde vraag en krijgt drie verschillende antwoorden. De meeste mensen trekken dan een van twee conclusies: dit ding is onbetrouwbaar, of het is halverwege van gedachten veranderd. Allebei onwaar. Een taalmodel kiest namelijk nooit HET volgende woord. Het berekent bij elke stap een kansverdeling over alle mogelijke volgende tokens en trekt daar een uit, precies zoals bedoeld.
Kijk zelf. Vraag drie keer: "schrijf een openingszin voor een blog over koffie." Je krijgt drie verschillende zinnen. Vraag daarna hoeveel twee plus twee is, en je krijgt elke keer vier. Zelfde model, zelfde moment, totaal ander gedrag. Dat verschil is de hele les.
Wat er onder de motorkap gebeurt bij dat ene woord, ziet er zo uit:
Dat trekken heet sampling, en het is de kern van het antwoord. Waarom varieert AI? Omdat een taalmodel bij elk volgend woord geen enkele keuze maakt, maar een kansverdeling over alle mogelijke vervolg-tokens berekent en daar een uit trekt. Elk tekststukje dat het model verwerkt is een token, soms een heel woord, soms een deel. Temperatuur is de knop die die verdeling herschaalt: laag maakt hem scherper richting het waarschijnlijkste token, hoog maakt hem vlakker, zodat ook minder voor de hand liggende tokens kans maken.
Zet dat om in drie lagen, van intuitie naar mechaniek:
Stel je bij elk woord een zak knikkers voor. Het waarschijnlijkste woord heeft de meeste knikkers, maar er zitten ook andere kleuren in. Het model grabbelt blind een knikker. Meestal pakt het de volste kleur, soms een andere. Temperatuur bepaalt hoe scheef de zak gevuld is: laag betekent bijna alles een kleur, hoog betekent alle kleuren dichter bij elkaar.
Waarom geeft twee plus twee wel altijd vier?
Omdat niet elke kansverdeling even vlak is. Bij "twee plus twee is..." is de kans op "vier" zo overweldigend, ver boven de 99%, dat er feitelijk niets te kiezen valt: welke temperatuur je ook zet, sampling trekt vrijwel altijd "vier". Bij een openingszin over koffie liggen tientallen woorden dicht bij elkaar in kans. "Er", "De", "Koffie", "Niets", allemaal plausibel. Dan bepaalt de trekking welk woord het wordt, en dus krijg je elke keer een andere zin. Dezelfde temperatuur, totaal ander gedrag, puur omdat de ene verdeling piekt en de andere plat is.
De knop zelf werkt op de vorm van die verdeling. Hogere waarden maken de uitvoer willekeuriger, lagere waarden gefocuster en meer deterministisch, zo omschrijft OpenAI temperatuur in de eigen documentatie. Zet hem laag bij een feitvraag of bij code, waar je consistentie wilt. Zet hem hoger bij brainstormen of tekst, waar je juist variatie zoekt. Naast temperatuur bestaat er nog een verwante knop, top-p of nucleus sampling. Waar temperatuur de hele verdeling herschaalt, snijdt top-p de staart eraf: het model kijkt alleen naar de kleinste groep topwoorden waarvan de kansen samen een drempel halen, bijvoorbeeld 90%, en negeert de rest. Temperatuur is de hoofdknop, top-p het fijnere mes ernaast.
En als je hem op nul zet?
Dan wordt je uitvoer een stuk voorspelbaarder, maar niet gegarandeerd identiek. Zelfs met temperatuur op nul is het resultaat niet volledig deterministisch en kan dezelfde invoer verschillende uitvoer geven, stelt Anthropic expliciet, onder meer door de manier waarop de berekening parallel over de hardware loopt. Reken dus niet op een machine die op nul altijd woord voor woord hetzelfde zegt. Laag zetten drukt de variatie sterk terug; het zet hem niet gegarandeerd uit.
Een onderscheid wil ik scherp houden: variatie is niet hetzelfde als een verzonnen feit, een hallucinatie. Een ander gekozen woord is normaal en gewenst, zeker voor creatief werk. Maar hoe hoger de temperatuur, hoe vlakker de verdeling, en hoe groter de kans dat er een onwaarschijnlijk, ronduit fout token wordt getrokken. De variatie is by design; de onzin is het risico dat meelift zodra je de knop te ver opendraait.
Terug naar de praktijk. Welke kant zet je de knop op?
Wat vraag je het model?
Zodra je dit ziet, verandert je verwachting van AI. Een wisselend antwoord is geen hapering en geen humeur, het is een dobbelsteen waarvan jij zelf bepaalt hoe scheef hij ligt. Wie dat snapt, stopt met vragen waarom het niet consistent is en begint te sturen: laag voor wat vast moet liggen, hoog voor wat mag verrassen. De variatie was er altijd al. Nu weet je waar de knop zit, en wat hij precies doet.
Veelgestelde vragen
Van variatie naar controle
Ik denk met je mee waar AI in je proces past, ontwerp de aanpak en bouw het als werkend product, met instellingen als temperatuur bewust gekozen zodat je uitvoer betrouwbaar is waar dat telt en creatief waar dat mag.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
