Terme
Token
Unité de texte manipulée par un modèle de langage, correspondant à un mot, un fragment de mot ou un signe de ponctuation.
Unité de texte manipulée par un modèle de langage, correspondant à un mot, un fragment de mot ou un signe de ponctuation.
inférenceAussi : jeton, tokens
Le texte est découpé en tokens avant d'être traité par le modèle. En français, un mot courant représente souvent un à trois tokens ; le ratio exact dépend du tokenizer de chaque modèle.
Tous les indicateurs de performance de la Box sont exprimés en tokens : taille du contexte, vitesse de génération en tokens par seconde, taille du KV cache.
Voir Inférence.