Aller au contenu
Tag

#monitoring

13 entrée(s) portent ce tag.

Pages

9

Architecture Box v1Architecture · Composition candidate de la première Box : Framework Desktop sous Linux, Docker Compose, llama-server, Open WebUI, PostgreSQL, Caddy, restic et monitoring, avec un budget mémoire explicite.Méthodologie de benchmark reproductibleBenchmarks · Protocole du laboratoire : llama-bench, llama-batched-bench, vllm bench serve et autres outils de charge, métriques standard, prompts de référence, grille 1/2/3/5/10 utilisateurs, conditions à consigner et pièges.Inférence : panorama des moteursInférence · Comparaison des moteurs de serving (llama-server, Ollama, LM Studio, vLLM, SGLang, Lemonade) pour un Strix Halo sous Linux, et recommandation initiale prudente : llama-server d'abord, vLLM à évaluer.llama.cpp et llama-serverInférence · Le moteur de départ de la Box : slots, contexte partagé, KV cache quantifié, flash attention, métriques Prometheus, images Docker ROCm/Vulkan et flags connus pour gfx1151.vLLM et SGLang sur Strix HaloInférence · État du support gfx1151 (doc officielle vs images communautaires), avantages pour le multi-utilisateurs, coûts en mémoire et complexité, et critères pour basculer depuis llama-server.Stabilité et problèmes connusLinux · Inventaire sourcé des problèmes de fiabilité rapportés sur Strix Halo et Framework Desktop sous Linux (crashs GPU, VGPR, MES ring timeout, xHCI/s2idle, USB-C, BIOS, NIC Beelink) avec leur état et les contournements.Monitoring : ce que l'on surveille et commentMonitoring · Métriques système, GPU, inférence et applicatives ; pile proposée (node_exporter, amd-smi, llama-server --metrics, Prometheus, Grafana, Uptime Kuma) et alternatives simples ; seuils d'alerte et tableau de bord type.Page « Santé de la Box »Monitoring · Maquette de la page de santé destinée au référent client et au prestataire : voyants vert/orange/rouge, signification de chaque voyant et actions associées.Catalogue de fonctionnalitésProduit · Liste structurée des fonctionnalités de la Box avec statut (idée, prévu, prototype, validé), priorité et dépendances techniques ; aucune n'est validée à ce jour.

Expérimentations

1

Stabilité sous charge continue pendant 24 heuresExpérimentation · Faire tourner llama-server 24 h avec 4 slots actifs et journaliser dmesg, températures et consommation, pour vérifier que les crashs GPU rapportés depuis mars 2026 ne se reproduisent pas avec BIOS 3.06 et noyau 6.18.4+.

Sources

1

vLLM — conception des métriques PrometheusSource · Métriques vllm:num_requests_running, num_requests_waiting, kv_cache_usage_perc, prompt_tokens_total, generation_tokens_total, time_to_first_token_seco.

Glossaire

2

GrafanaTerme · Outil open source de tableaux de bord qui visualise des métriques et des journaux provenant de sources comme Prometheus.PrometheusTerme · Système open source de collecte et de stockage de métriques en séries temporelles, qui interroge périodiquement des « exporters » exposés par les services supervisés.