Terme
GGUF
Format de fichier de llama.cpp contenant les poids quantifiés d'un modèle et ses métadonnées (tokenizer, architecture, gabarit de conversation) dans un seul fichier.
Format de fichier de llama.cpp contenant les poids quantifiés d'un modèle et ses métadonnées (tokenizer, architecture, gabarit de conversation) dans un seul fichier.
modèlesAussi : format GGUF
GGUF est le format natif de llama.cpp et des outils qui en dérivent (Ollama, LM Studio). Un même modèle existe en plusieurs fichiers GGUF selon la quantification.
Pour la Box, c'est un format ouvert et portable : les modèles sont stockés dans un volume en lecture seule et peuvent être remplacés sans toucher au reste de l'architecture. Il fait partie des formats qui garantissent la réversibilité de l'installation.