Question· Q-001
Combien d'utilisateurs simultanés la Box peut-elle réellement servir ?
1 à 3 actifs simultanés est l'hypothèse de départ ; il faut mesurer la dégradation réelle (tok/s par utilisateur, TTFT) de 1 à 10 utilisateurs, modèle par modèle.
À vérifier#multi-utilisateurs#benchmark#strix-halo#kv-cachePublié le 16 sept. 2026Mis à jour le 16 sept. 2026
- Identifiant
- Q-001
- Statut
- Ouverte
- Priorité
- Haute
Ce que nous savons
- La génération est bornée par la bande passante mémoire (256 Go/s annoncés, environ 212 Go/s mesurés par des tiers). Le batching de plusieurs requêtes améliore le débit agrégé sans augmenter le débit par utilisateur au-delà de la limite matérielle.
- Une mesure communautaire sur un modèle MoE 35B-A3B rapporte environ 162 tok/s agrégés avec 8 slots (soit environ 20 tok/s par utilisateur), et presque aucun gain au-delà.
- Aucune mesure publiée pour gpt-oss-120b avec plusieurs clients n'a été trouvée.
Ce qu'il faut mesurer
Grille 1 / 2 / 3 / 5 / 10 utilisateurs × petit / moyen / gros modèle, avec prompts courts et longs (dossier de 30 pages), en relevant TTFT, tok/s par utilisateur, mémoire GPU et température. Voir la méthodologie.
Critère de réponse
La question sera considérée répondue quand la matrice de capacité sera remplie de mesures « réalisées par nous » pour au moins deux modèles.