Définition
Token (dans les LLM)
Un token est la plus petite unité de texte qu'un modèle de langage traite, généralement un mot, une partie de mot ou un signe de ponctuation, en laquelle le texte est découpé avant traitement.
En règle générale, un token en anglais équivaut à peu près à quatre caractères ou environ trois quarts d'un mot ; l'allemand en consomme souvent davantage à cause des mots longs. Les tokens comptent car la longueur de contexte et la tarification de nombreux modèles se mesurent en tokens.