llama.cpp : installer et lancer un modèle GGUF

llama.cpp est un moteur d'exécution de modèles de langage écrit en C/C++, publié sous licence MIT. Il lit les modèles au format GGUF, tourne sur processeur comme sur carte graphique, et fournit un serveur compatible avec l'interface d'OpenAI. Il est au cœur d'autres outils : la documentation de Hugging Face présente Ollama comme une application fondée sur llama.cpp, et LM Studio l'utilise comme moteur. Ce qui suit vient du dépôt officiel, lu le 15/11/2026.

Pourquoi passer par llama.cpp directement

• Vous voulez le moteur seul, sans couche supplémentaire, pour l'intégrer dans votre propre logiciel.
• Vous avez un matériel particulier : le dépôt liste de nombreux moteurs de calcul, dont Metal (Apple Silicon), CUDA (NVIDIA), HIP (AMD), Vulkan (cartes graphiques en général), SYCL, OpenCL et d'autres, ainsi qu'une compilation simple pour processeur, avec les jeux d'instructions AVX, AVX2, AVX512 et ARM NEON.
• Vous voulez choisir finement la quantification : le dépôt annonce des quantifications entières sur 1,5, 2, 3, 4, 5, 6 et 8 bits (voir Quantification GGUF).

Installer

Le README propose plusieurs voies :

# avec curl
curl -LsSf https://llama.app/install.sh | sh

# avec PowerShell
irm https://llama.app/install.ps1 | iex

Autres possibilités : Docker, les binaires précompilés de la page des versions du dépôt, ou une compilation depuis les sources d'après le guide de compilation. Sur un serveur, lisez le script avant de l'exécuter.

Lancer un modèle

Le README montre deux commandes, écrites ainsi :

# Télécharger et lancer un modèle depuis Hugging Face
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

# Lancer le serveur compatible avec l'interface d'OpenAI
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

L'option -hf désigne un dépôt Hugging Face contenant des fichiers GGUF. Le catalogue des modèles GGUF de Hugging Face permet d'en trouver d'autres. Le README du serveur montre aussi la forme qui charge un fichier déjà téléchargé :

./llama-server -m models/7B/ggml-model.gguf -c 2048

Le serveur : les options à connaître

D'après le README du serveur :

Le serveur expose notamment /v1/chat/completions, /v1/completions, /v1/models et /v1/embeddings, ainsi qu'une interface web intégrée. Deux réglages comptent pour un usage en entreprise :

• --api-key : sans elle, aucune clé n'est demandée. Dès que le serveur est joignable par d'autres postes, définissez-en une.
• -ngl : quand le modèle ne tient pas entièrement dans la carte graphique, une partie des couches reste sur le processeur. C'est possible, mais plus lent.

Fabriquer son propre fichier GGUF

Le dépôt fournit les outils pour convertir un modèle publié sur Hugging Face, puis le quantifier. La démarche (conversion avec convert_hf_to_gguf.py, puis llama-quantize) est détaillée sur Quantification GGUF. Hugging Face propose aussi un outil en ligne, gguf-my-repo, pour convertir et quantifier.

Appeler le serveur depuis un programme

Le README du serveur donne l'exemple d'un client Python pour l'interface d'OpenAI pointé sur http://localhost:9931/v1. Le principe commun à Ollama, LM Studio, llama.cpp et vLLM est expliqué sur Appeler un LLM local depuis son code.

Limites

• Les commandes et options évoluent vite : la forme llama cli du README et l'ancien binaire llama-server coexistent dans la documentation lue. Vérifiez --help sur votre version.
• llama.cpp ne gère ni comptes ni droits : pour une équipe, ajoutez un proxy et une interface comme Open WebUI.