Source
NVIDIA — GenAI-Perf (Triton docs)
Outil de charge : TTFT, ITL, latence, débit ; options --concurrency, --request-rate, --streaming ; cible tout service OpenAI ; « being phased out » au.
- Organisation
- NVIDIA
- Type
- Documentation officielle
- Fiabilité
- Fiabilité haute
- Publié
- 2026
- Consulté le
- 16 septembre 2026
- Sujets
- benchmark
Citée par 1 page(s)
Ce que dit la source
Outil de charge : TTFT, ITL, latence, débit ; options --concurrency, --request-rate, --streaming ; cible tout service OpenAI ; « being phased out » au profit d'AIPerf.
Ce qu'on en retient
Alternative à vllm bench serve, en fin de vie.