Terme
Batching
Regroupement de plusieurs requêtes ou de plusieurs tokens dans un même passage de calcul pour mieux utiliser le processeur graphique.
Regroupement de plusieurs requêtes ou de plusieurs tokens dans un même passage de calcul pour mieux utiliser le processeur graphique.
inférenceAussi : traitement par lots, batch
Un GPU est plus efficace quand il traite plusieurs séquences à la fois : le coût de lecture des poids est partagé. Le batching augmente le débit agrégé au prix d'une latence individuelle un peu plus élevée.
Le continuous batching en est la forme dynamique utilisée par les serveurs d'inférence modernes. Pour la Box, il permet à plusieurs utilisateurs de partager un seul modèle chargé.