Inférence : panorama des moteurs

L'essentiel

• Le moteur d'inférence est le service qui charge le modèle en mémoire GPU et répond aux requêtes HTTP de l'interface (API compatible OpenAI). Tout le reste de la Box (RAG, interface, permissions) s'appuie dessus.
• Sur la puce cible (gfx1151), llama.cpp est le moteur le mieux documenté : binaires validés par AMD ², deux backends (ROCm et Vulkan), nombreuses mesures publiées.
• vLLM liste gfx1151 dans sa doc d'installation ¹⁰, mais les retours de terrain décrivent des images patchées : support réel à vérifier.
• Ollama, LM Studio et Lemonade sont des surcouches de llama.cpp : plus simples, moins de contrôle.
• Recommandation initiale : llama-server comme point de départ (ADR-004), vLLM à évaluer quand le multi-utilisateurs réel sera mesuré (Q-002).

Ce qu'on demande au moteur

Pour la Box, le moteur doit :

1. tourner sur gfx1151 sous Linux, avec un backend stable (ROCm ou Vulkan) ;
2. exposer une API OpenAI (/v1/chat/completions, /v1/embeddings) pour Open WebUI ou LibreChat ;
3. servir plusieurs utilisateurs en même temps par continuous batching, avec une file d'attente prévisible ;
4. maîtriser la mémoire du KV cache (quantification, partage) ;
5. exposer des métriques pour Prometheus ;
6. se déployer en conteneur Docker reproductible ;
7. avoir une licence compatible avec une offre commerciale.

Tableau comparatif

ik_llama.cpp et MLC-LLM : aucune source spécifique à Strix Halo trouvée ; non évalués.

Lecture du tableau

llama-server coche toutes les cases fonctionnelles, avec deux réserves : l'absence de priorité dans la file d'attente et une observabilité plus pauvre que vLLM (pas de métrique TTFT native). C'est aussi le seul moteur pour lequel on dispose de mesures multi-slots sur cette puce (voir Multi-utilisateurs). Détail : llama.cpp / llama-server.

vLLM apporte un ordonnanceur et des métriques conçus pour le multi-utilisateurs. Sur Strix Halo, la seule comparaison trouvée (Soothill, août 2026) montre vLLM devant llama.cpp en montée en charge sur un petit modèle (311,6 t/s contre 207,1 à 8 clients) et un meilleur TTFT sur un 122B (1,06 s contre 1,78 s), mais avec des quantifications différentes ²². Coût : images non officielles, mémoire moins souple, complexité. Détail : vLLM et SGLang.

Ollama, LM Studio, Lemonade conviennent au poste individuel ou au POC rapide. Pour la Box, ils ajoutent une couche sans ajouter de contrôle. Détail : Ollama, LM Studio, Lemonade.

Recommandation initiale

Prérequis système communs, quel que soit le moteur : noyau et version ROCm compatibles gfx1151, réservation VRAM BIOS minimale et limite GTT augmentée ²³ (voir Linux / ROCm).

Questions ouvertes

• Q-002Quel runtime d'inférence est le plus performant sur AMD Strix Halo ?HauteEn cours
• Q-008Vulkan (RADV) ou ROCm (HIP) pour llama.cpp sur Strix Halo ?HauteOuverte

Ce qu'il reste à tester

• Évaluer vLLM sur ROCm gfx1151En septembre 2026, l'image officielle vllm/vllm-openai-rocm démarre sur gfx1151 avec ROCm 7.x sans patch, sert un MoE de taille moyenne, et donne un TTFT p95 inférieur à celui de llama-server à 5 clients ; mais elle ne sert pas gpt-oss-120b en MXFP4 sans conversion, et réserve plus de mémoire que llama-server pour un même contexte.À tester