Definizione
Token (nei LLM)
Un token è la più piccola unità di testo elaborata da un modello linguistico, di solito una parola, parte di una parola o un segno di punteggiatura, in cui il testo viene suddiviso prima dell'elaborazione.
Come regola pratica, in inglese un token equivale grosso modo a quattro caratteri o circa tre quarti di parola; in tedesco i token sono spesso di più per via delle parole lunghe. I token contano perché lunghezza del contesto e prezzi di molti modelli si misurano in token.