Aller au contenu
Tag

#deepseek

7 entrée(s) portent ce tag.

Modèles

1

DeepSeek R1 (et distillations)Modèle · MoE de 671 Md sous MIT : impraticable sur 128 Go à taille complète ; seules les distillations 32B et 70B sont exécutables (11,2 t/s mesurés pour Distill-Qwen-32B).

Benchmarks

1

DeepSeek-R1-Distill-Qwen-32B Q4_K_M — llama.cpp HIP — 11,2 t/s (praveentechworld)Benchmark · Un dense de 32 Md en Q4 (19,8 Go) sur Strix Halo : 11,2 t/s, cohérent avec le plafond bande passante ÷ poids.

Sources

4

deepseek-ai/DeepSeek-R1 — fiche modèleSource · MoE 671 Md / 37 Md actifs avec MLA, contexte 128k, licence MIT ; distillations R1-Distill-Qwen-32B (Apache 2.0) et R1-Distill-Llama-70B (licence Llama.DeepSeek-V2 — Multi-head Latent Attention (arXiv 2405.04434)Source · MLA compresse le KV cache en un vecteur latent ; réduction de 93,3 % du KV cache par rapport à DeepSeek 67B.deepseek-ai/DeepSeek-V4-Flash — fiche modèleSource · MoE 284 Md / 13 Md actifs, FP4/FP8 natif, contexte 1 M, licence MIT.praveentechworld — AMD Strix Halo Local LLM Benchmarks: 128GB Unified Memory GuideSource · Bande passante effective environ 213 Go/s (« 75 à 80 % » d'un théorique annoncé à 273 Go/s) ; Llama 3.3 70B Q4_K_M (42,5 Go) 5,1 t/s en HIP ROCm 6.3+.

Glossaire

1

MoE (mélange d'experts)Terme · Architecture de modèle dans laquelle chaque token n'active qu'une petite partie des paramètres (quelques « experts » choisis par un routeur), ce qui réduit le calcul et la lecture mémoire par token.