Definition
Token (in LLMs)
Ein Token ist die kleinste Texteinheit, die ein Sprachmodell verarbeitet, meist ein Wort, ein Wortteil oder ein Satzzeichen, in die Text vor der Verarbeitung zerlegt wird.
Als Faustregel entspricht ein Token im Englischen grob vier Zeichen oder rund drei Viertel eines Wortes; im Deutschen fallen wegen längerer Wörter oft mehr Token an. Token sind wichtig, weil Kontextlänge und Preise vieler Modelle in Token gemessen werden.