vLLM : installer un serveur de LLM pour une équipe

vLLM est un moteur de service pour modèles de langage, conçu pour tourner sur un serveur Linux équipé de cartes graphiques. On l'installe avec pip ou uv, on lance vllm serve suivi du nom d'un modèle Hugging Face, et il répond sur http://localhost:8000 avec une interface compatible avec celle d'OpenAI. C'est l'outil à regarder quand un modèle local doit servir plusieurs personnes ou plusieurs applications à la fois. Faits tirés de la documentation de vLLM, lue le 15/11/2026.

Les prérequis

Source : installation sur carte graphique. Contrairement à Ollama ou LM Studio, vLLM ne vise donc pas le poste de travail Windows ou Mac.

Installer

La documentation recommande uv pour les cartes NVIDIA :

uv pip install vllm --torch-backend=auto

Une image Docker existe aussi, vllm/vllm-openai:latest, qui lance directement le serveur compatible avec OpenAI.

Lancer le serveur

vllm serve Qwen/Qwen2.5-1.5B-Instruct

Par défaut, le serveur démarre sur http://localhost:8000. Pour vérifier qu'il répond :

curl http://localhost:8000/v1/models

La page du serveur compatible avec OpenAI montre un lancement avec une clé :

vllm serve NousResearch/Meta-Llama-3-8B-Instruct \
  --dtype auto \
  --api-key token-abc123

La clé peut aussi passer par la variable VLLM_API_KEY. Choisissez évidemment votre propre valeur, longue, rangée dans votre gestionnaire de secrets. Par défaut, le serveur applique le fichier generation_config.json du dépôt Hugging Face du modèle s'il existe ; --generation-config vllm désactive ce comportement.

Ce que le serveur expose

D'après la page du service en ligne, vLLM répond sur plusieurs familles d'interfaces :

• compatibles OpenAI : /v1/completions, /v1/chat/completions, /v1/responses, /v1/embeddings, /v1/audio/transcriptions, /v1/audio/translations ;
• compatibles Anthropic : /v1/messages et /v1/messages/count_tokens ;
• surveillance : /health, /metrics, /v1/models, /version.

Les points /health et /metrics servent à brancher la supervision du serveur.

Dimensionner la mémoire

Les options qui comptent, d'après la liste des arguments et la page sur l'économie de mémoire :

La page sur la mémoire résume les leviers : répartir sur plusieurs cartes, prendre un modèle quantifié (moins de mémoire, moins de précision), limiter la longueur de contexte, réduire la taille des lots.

Deux ordres de grandeur, lus sur les fiches des modèles :

• Mistral Small 3.2, 24 milliards de paramètres : environ 55 Go de mémoire de carte graphique en bf16 ou fp16 ; vLLM est le cadre recommandé par Mistral AI, en version 0.9.1 ou plus.
• Ministral 3 14B : tient dans 24 Go de mémoire vidéo en FP8, moins s'il est quantifié davantage.

Pour la méthode générale, voir Quel matériel pour un LLM local.

vLLM ou Ollama ?

Ollama traite par défaut une requête à la fois par modèle (réglage OLLAMA_NUM_PARALLEL), s'installe sur Windows, macOS et Linux, et prend par défaut la quantification Q4_K_M quand il lance un dépôt GGUF de Hugging Face qui la contient. vLLM demande Linux et une carte graphique compatible, mais il est pensé pour le service à plusieurs : traitement par lots, plusieurs cartes, supervision. Pour un poste ou une petite équipe, Ollama sur un serveur suffit souvent ; pour une application interne très sollicitée, vLLM se justifie. Testez les deux sur votre matériel et vos questions avant de décider.

Sécuriser

• Définissez toujours --api-key dès que le serveur est joignable par d'autres machines.
• Placez-le derrière un proxy qui chiffre les échanges, et limitez le port au réseau interne.
• Journalisez les accès : la page Journaliser un système d'IA détaille quoi garder.