token
Concept

Token

Het stukje tekst dat een taalmodel verwerkt, een veelvoorkomend fragment uit een vaste woordenlijst