Ollama, LM Studio, Lemonade : les moteurs « faciles »

L'essentiel

• Les trois outils embarquent llama.cpp et exposent une API OpenAI ; ils gèrent le téléchargement des modèles et le chargement à la demande.
• Ollama : MIT, gfx1151 supporté sous Linux, mais une requête à la fois par défaut (OLLAMA_NUM_PARALLEL=1) et pas de métriques Prometheus documentées ¹.
• LM Studio : propriétaire, gratuit au travail, 4 requêtes concurrentes par défaut, daemon headless ; mesuré nettement plus lent que llama.cpp direct sur gpt-oss-120b dans une source.
• Lemonade Server : projet Apache 2.0 sponsorisé par AMD, builds ROCm gfx1151, accès NPU ; concurrence non documentée.
• Pour la Box : utiles en POC ou sur poste individuel ; pour le serveur, ils retirent du contrôle sans rien ajouter par rapport à llama-server.

Ollama

Support AMD. Ollama s'appuie sur ROCm ; Vulkan est disponible en complément sous Linux et Windows ; gfx1151 (Ryzen AI Max+ 395) est listé supporté sous Linux ². Le backend Vulkan est arrivé en expérimental avec la version 0.12.6 ⁵.

Parallélisme et file. Variables documentées dans la FAQ ¹ :

Les requêtes en attente « will be processed in order » : FIFO, pas de priorité. Le contexte par défaut de 4 096 tokens est très insuffisant pour l'analyse de dossiers ; il doit être relevé explicitement. Attention : Ollama décharge les modèles inactifs et les recharge à la demande, ce qui provoque un premier appel lent après une période de silence.

API. /v1/chat/completions, /v1/completions, /v1/embeddings, /v1/models, /v1/responses ; outils, streaming, JSON, vision ; logprobs non supporté ³. Licence MIT ⁴.

Mesure Strix Halo. Llama 3.1 70B Q4_K_M sous Ollama Vulkan : 4,7 à 4,9 t/s ¹⁴, cohérent avec llama.cpp direct (borne mémoire).

Limites pour la Box. Pas de métriques exposées, réglages par variables d'environnement globales, pas de --kv-unified ni de choix fin des slots, déchargement automatique. Convient au POC.

LM Studio

Concurrence. « Parallel requests via continuous batching » ; « Max Concurrent Predictions » à 4 par défaut ; nécessite le runtime GGUF llama.cpp v2.0.0 ⁶. Mode serveur sans interface : daemon llmster, lms server start, systemd sous Linux ⁷. Runtimes Vulkan et ROCm sélectionnables sous Linux sur Strix Halo (guide communautaire) ⁹.

Licence. Propriétaire ; gratuit pour usage professionnel depuis le 8 juillet 2025, offre Enterprise payante, CGU mises à jour le 23 août 2026 ⁸. Code non auditable : un point faible pour un produit vendu sur la confidentialité.

Mesures Strix Halo. gpt-oss-120b : environ 48 t/s sous Linux selon Framework ¹⁶, mais environ 30 t/s avec le runtime ROCm selon MindStudio ¹⁵, contre 51 à 56 t/s en llama.cpp direct. Sources contradictoires (voir gpt-oss-120b) ; l'écart illustre le coût potentiel d'une surcouche mal réglée.

Lemonade Server (AMD)

Projet Apache 2.0, « communautaire avec des optimisations d'ingénieurs AMD », sponsorisé par AMD ¹⁰. Backends : llama.cpp (Vulkan, ROCm, CPU), OnnxRuntime GenAI et FastFlowLM pour le NPU, vLLM expérimental sur Strix Halo. Linux supporté. API OpenAI sur http://localhost:13305/v1 ; installeurs .deb/.rpm/Snap/Arch et Docker ¹¹.

Intérêt spécifique : canal ROCm nightly avec builds llama.cpp par architecture, dont gfx1151 (lemonade config set rocm_channel=nightly) ^{12 13}. Ces builds peuvent servir même sans Lemonade.

Limites : concurrence multi-utilisateurs non documentée (dépend du llama-server sous-jacent), pas de métriques documentées, projet jeune.

Positionnement pour la Box

Questions ouvertes