Bande passante mémoire
Quantité de données que le processeur ou le GPU peut lire en mémoire par seconde, exprimée en gigaoctets par seconde ; elle borne la vitesse de génération d'un modèle de langage.
Quantité de données que le processeur ou le GPU peut lire en mémoire par seconde, exprimée en gigaoctets par seconde ; elle borne la vitesse de génération d'un modèle de langage.
À chaque token généré, le modèle relit l'ensemble de ses paramètres actifs. La vitesse maximale en tokens par seconde est donc approximativement la bande passante divisée par la taille des poids actifs. C'est la règle de calcul la plus utile pour prédire la performance d'une machine.
Strix Halo est annoncé à 256 Go/s (donnée constructeur, la valeur mesurée par la communauté est inférieure) ; une carte graphique haut de gamme dépasse 1 000 Go/s mais avec bien moins de mémoire. Voir Multi-utilisateurs.