Tokenizer

Anthropic liet de tokentarieven van Claude Sonnet 5 ongewijzigd, maar het model verbruikt fors meer tokens per taak. Daardoor stijgt je werkelijke AI-rekening ondanks de gelijke prijslijst. Wat dat betekent voor je budget.

Een taalmodel leest je tekst niet per woord en niet per letter, maar in tokens. Typ zelf een woord, zie het in stukjes vallen, en snap in een keer waarom AI slecht rekent en Nederlands duurder uitpakt.