Terme
TTFT (temps jusqu'au premier token)
Délai entre l'envoi d'une requête et l'apparition du premier token de la réponse, qui correspond essentiellement au traitement du prompt.
Délai entre l'envoi d'une requête et l'apparition du premier token de la réponse, qui correspond essentiellement au traitement du prompt.
inférenceAussi : time to first token, latence du premier token
Le TTFT mesure le temps d'attente ressenti avant que la réponse commence à s'afficher. Il dépend de la longueur du prompt (consignes, historique, passages du RAG) et de la vitesse de traitement du prompt.
Dans la Box, un RAG qui injecte de longs passages allonge le TTFT ; c'est l'un des indicateurs suivis dans la collection Benchmarks.