Terme
Paramètres actifs
Nombre de paramètres effectivement utilisés pour traiter un token dans un modèle à mélange d'experts, par opposition au nombre total de paramètres stockés.
Nombre de paramètres effectivement utilisés pour traiter un token dans un modèle à mélange d'experts, par opposition au nombre total de paramètres stockés.
modèlesAussi : active parameters, paramètres activés
Un modèle noté « 120B-A5B » compte 120 milliards de paramètres au total mais n'en active qu'environ 5 milliards par token. La mémoire nécessaire dépend du total ; la vitesse de génération dépend surtout des paramètres actifs, car ce sont eux qui sont relus à chaque token.
Pour la Box, c'est l'indicateur clé pour prédire la vitesse de génération à partir de la bande passante mémoire.