Wat is Token?

Een token is een klein stukje tekst waarmee een taalmodel rekent. Dat kan een heel woord zijn, een deel van een woord, een leesteken of een spatie. AI leest dus niet letter voor letter of woord voor woord, maar token voor token. Het is de basiseenheid van taal voor een AI.

Hoe werkt het?

Voordat een taalmodel je tekst verwerkt, knipt het die in tokens. Korte, veelvoorkomende woorden zijn vaak één token. Lange of zeldzame woorden worden in meerdere stukjes verdeeld. Elk token wordt omgezet in een getal, want computers rekenen met getallen. Het model voorspelt daarna het volgende token, en dan weer het volgende, tot het antwoord klaar is.

Tokens zijn om drie redenen belangrijk:

• Lengte: een model kan maar een beperkt aantal tokens tegelijk aan. Dat heet het contextvenster.
• Kosten: bij veel AI-diensten voor bedrijven wordt gebruik gemeten in tokens.
• Taal: in talen als het Nederlands met lange samengestelde woorden heb je soms meer tokens nodig dan in het Engels.

Een voorbeeld uit de praktijk

Je plakt een heel lang rapport in een chatbot en vraagt om een samenvatting. De chatbot geeft aan dat de tekst te lang is of vergeet het begin. Dat komt omdat je over de tokengrens gaat. Je lost het op door het rapport in delen te splitsen of eerst om een samenvatting per hoofdstuk te vragen.

Waarom is dit belangrijk voor jou?

Als je weet wat tokens zijn, snap je waarom AI soms de draad kwijtraakt of een tekst afkapt. Je kunt er ook beter mee omgaan:

• Houd je prompt kort en duidelijk.
• Splits lange teksten in stukken.
• Let op het gebruik als je een betaalde dienst per token afrekent.

Een token is niet hetzelfde als een woord, dus tel niet precies na.