Aller au contenu
Tag

#ollama

9 entrée(s) portent ce tag.

Pages

2

Inférence : panorama des moteursInférence · Comparaison des moteurs de serving (llama-server, Ollama, LM Studio, vLLM, SGLang, Lemonade) pour un Strix Halo sous Linux, et recommandation initiale prudente : llama-server d'abord, vLLM à évaluer.Ollama, LM Studio, Lemonade : les moteurs « faciles »Inférence · Trois surcouches de llama.cpp orientées simplicité : variables de parallélisme d'Ollama, requêtes concurrentes de LM Studio, Lemonade porté par AMD ; limites pour un serveur multi-utilisateurs.

Décisions

1

Démarrer avec llama.cpp (llama-server) comme runtime d'inférenceDécision · Runtime initial du prototype : llama-server, API OpenAI-compatible, slots parallèles ; vLLM sera évalué ensuite.

Sources

5

Ollama — FAQ officielleSource · Variables OLLAMA_NUM_PARALLEL (défaut 1), OLLAMA_MAX_LOADED_MODELS (3 par GPU), OLLAMA_MAX_QUEUE (512), OLLAMA_CONTEXT_LENGTH (4096 par défaut), OLLAM.ollama/ollama — dépôt GitHub (licence MIT)Source · Dépôt officiel, licence MIT, binaires et image Docker ollama/ollama.Ollama — support matériel GPUSource · Ollama s'appuie sur ROCm ; Vulkan en complément sous Windows et Linux ; gfx1151 (Ryzen AI Max+ 395) listé supporté sous Linux.Ollama — compatibilité API OpenAISource · Endpoints /v1/chat/completions, /v1/completions, /v1/embeddings, /v1/models, /v1/responses ; tools, streaming, JSON mode, vision ; logprobs non suppor.Phoronix — Ollama rolls out experimental Vulkan supportSource · Ollama 0.12.6 introduit un backend Vulkan expérimental.

Glossaire

1

OllamaTerme · Outil qui emballe llama.cpp avec un gestionnaire de modèles et une API simple, pour installer et lancer un modèle local en une commande.