Terme
VRAM
Mémoire dédiée au processeur graphique, dans laquelle doivent résider les poids du modèle et le KV cache pour une inférence rapide sur GPU.
Mémoire dédiée au processeur graphique, dans laquelle doivent résider les poids du modèle et le KV cache pour une inférence rapide sur GPU.
matérielAussi : mémoire vidéo, mémoire graphique
Sur une carte graphique dédiée, la VRAM est physiquement distincte de la RAM et très rapide, mais limitée en capacité. Sur une plateforme à mémoire unifiée, la « VRAM » est une portion de la RAM réservée au GPU (réservation BIOS) complétée par une zone partagée allouée dynamiquement (GTT).
Pour la Box, la capacité mémoire accessible au GPU est le critère de faisabilité d'un modèle donné ; la bande passante est le critère de vitesse.