Aller au contenu
Tag

#inference

3 entrée(s) portent ce tag.

Décisions

1

Démarrer avec llama.cpp (llama-server) comme runtime d'inférenceDécision · Runtime initial du prototype : llama-server, API OpenAI-compatible, slots parallèles ; vLLM sera évalué ensuite.

Questions

1

Quel runtime d'inférence est le plus performant sur AMD Strix Halo ?Question · llama.cpp est le point de départ (ADR-004) ; vLLM et SGLang sur ROCm restent à évaluer pour le multi-utilisateur.

Recherches

1

Campagne de recherche : moteurs d'inférence, modèles et multi-utilisateursRecherche · Support gfx1151 des runtimes, options de parallélisme, théorie du KV cache, catalogue de modèles et benchmarks publiés.