Qwen3-30B-A3B (Instruct-2507)

L'essentiel

• MoE 30,5 Md / 3,3 Md actifs, 48 couches, GQA 32/4, 128 experts dont 8 actifs, contexte 262 144 natif, Apache 2.0 ¹.
• 18,6 Go en Q4_K_M ² : il laisse plus de 100 Go pour le KV cache, les embeddings et le reste.
• Mesuré entre 72 et 98 t/s en génération sur Strix Halo, avec un prompt processing de 600 à 1 390 t/s selon le backend.
• C'est le modèle le plus adapté aux scénarios multi-utilisateurs chargés, au prix d'une qualité inférieure aux modèles de 100 Md et plus (hypothèse à vérifier).

Pourquoi ce modèle nous intéresse

Avec 3,3 Md de paramètres actifs, la génération lit environ 2 Go de poids par token (estimation) : le plafond théorique à 212 Go/s dépasse 100 t/s, et les mesures publiées sont cohérentes (72 à 98 t/s). Son KV cache est le plus petit du catalogue (4 têtes KV, 48 couches) : c'est le modèle qui supporte le plus de slots à contexte long pour une mémoire donnée. Il est aussi le seul dont la montée en charge multi-clients a été chiffrée sur Strix Halo, via sa version 3.6-35B-A3B (voir Multi-utilisateurs).

La date de sortie indiquée dans le frontmatter (1er juillet 2025) est une convention : la fiche porte le suffixe 2507 (juillet 2025) sans jour précis ¹.

Caractéristiques

Licence et usage commercial

Apache 2.0 ¹. Aucune restriction connue.

Français

Multilingue (évalué sur MMLU-ProX) ; aucun score français isolé publié ¹. Appréciation « ok » du frontmatter = hypothèse, à confirmer par nos tests.

Performances publiées sur Strix Halo

Les lignes « Coder » concernent une variante spécialisée de même architecture : ordre de grandeur transposable, pas une mesure de la version Instruct.

Mémoire et contexte

• Poids : Q4_K_M 18,6 Go ; UD-Q4_K_XL 17,7 ; Q6_K 25,1 ; Q8_0 32,5 Go ². Le Q8_0 tient largement : c'est le seul candidat pour lequel on peut se passer de quantification agressive.
• KV cache (estimation) : 2 × 48 × 4 × 128 × 2 = 98 304 octets par token en f16, soit environ 0,8 Go à 8k, 3,2 Go à 32k, 12,9 Go à 128k par slot. 8 slots à 32k en f16 : environ 26 Go.

Limites

• Qualité attendue inférieure à gpt-oss-120b sur les tâches d'analyse longue (hypothèse ; à mesurer).
• Pas de mode raisonnement dans la version Instruct.
• Famille en évolution rapide : Qwen3.5 puis 3.6 et 3.8 (voir Qwen3.5 et suivants) ; la fiche 2507 peut être dépassée d'ici la mise en production.

À tester

• Montée en charge -np 1, 2, 4, 8 avec llama-batched-bench puis charge HTTP réelle (expérimentation).
• Qualité française et fidélité de citation face à gpt-oss-120b sur les mêmes dossiers.
• Q8_0 vs Q4_K_M : différence de qualité perceptible ou non.