Faire tourner un LLM en local : le guide pour l'entreprise
Faire tourner un modèle de langage sur vos propres machines : outils, matériel, quantification, sécurité, d'après la documentation des projets.
Faire tourner un grand modèle de langage (LLM, large language model) en local, c'est l'exécuter sur une machine que vous contrôlez : votre poste de travail, ou un serveur de l'entreprise. Les questions posées et les documents fournis restent sur cette machine. Pour commencer, il suffit d'un logiciel d'exécution comme Ollama ou LM Studio et d'un modèle à poids ouverts téléchargé une fois. Pour aller plus loin, il faut dimensionner le matériel, choisir une quantification et protéger l'accès au serveur.
Ce site est édité par IArche, qui édite ALMA, la plateforme IA pour PME d'IArche. Les outils ci-dessous sont décrits d'après leur documentation, lue le 15/11/2026, à titre d'exemples.
Démarrer en trois commandes
D'après le guide de démarrage d'Ollama, une fois le logiciel installé :
ollama pull gemma4:e2b
ollama run gemma4:e2b
La première commande télécharge le modèle Gemma 4 E2B, la seconde ouvre une conversation dans le terminal ; /bye la ferme. La page recommande environ 8 Go de mémoire vidéo disponible, ou de mémoire unifiée sur un Mac ; avec moins, Ollama peut se rabattre sur la mémoire vive, et les réponses peuvent être plus lentes. Le détail par système est sur Installer Ollama.
Quatre outils, quatre usages
| Outil | Pour qui | Ce que dit sa documentation |
|---|---|---|
| Ollama | poste ou serveur, ligne de commande | application pour macOS, Windows et Linux ; interface de programmation sur localhost:11434 |
| LM Studio | poste de travail, interface graphique | exécute les modèles avec llama.cpp, et avec MLX sur les Mac Apple Silicon |
| llama.cpp | développeur, intégration fine | moteur en C/C++, sous licence MIT, avec un serveur compatible avec l'interface d'OpenAI |
| vLLM | serveur à carte graphique, plusieurs utilisateurs | Linux, Python 3.11 à 3.14, serveur sur localhost:8000 par défaut |
Pour donner une interface de discussion à toute une équipe, Open WebUI se branche sur Ollama ou sur tout serveur compatible avec l'interface d'OpenAI.
Les trois questions à se poser avant
- Quel matériel ? La quantité de mémoire de la carte graphique décide de la taille du modèle utilisable. Voir Quel matériel pour un LLM local et, pour les Mac, LLM local sur Mac Apple Silicon.
- Quel modèle, sous quelle licence ? Gemma 4, Qwen 3.5, Mistral Small, Ministral, Llama : tailles, licences et besoins en mémoire sur Quels modèles faire tourner en local. La quantification GGUF explique les suffixes comme
Q4_K_M. - Local ou cloud ? Le local protège certaines choses, pas toutes. D'après la FAQ d'Ollama, l'éditeur ne voit ni vos requêtes ni vos données en exécution locale ; mais les modèles se téléchargent depuis Internet, et les modèles « cloud » d'Ollama s'exécutent sur ses serveurs. Lisez Confidentialité de l'IA locale et Local ou cloud : les critères.
Du poste au serveur partagé
Un modèle sur un poste sert une personne. Pour une équipe, il faut un serveur : Ollama exposé sur le réseau avec précaution (Ollama sur un serveur), ou vLLM quand plusieurs personnes interrogent le modèle en même temps. Vos logiciels l'appellent ensuite comme une interface de programmation ordinaire : voir Appeler un LLM local depuis son code.
Et vos documents ?
Faire répondre un modèle local à partir des documents de l'entreprise demande d'autres briques : extraction, plongements, base vectorielle. C'est l'objet de la page RAG en local et open source du site voisin consacré au RAG.
Ce que ce site ne fait pas
Il ne classe pas les modèles en général : il parle de leur exécution sur vos machines. Chaque commande et chaque chiffre vient de la documentation citée en source ; les versions changent vite, vérifiez-les avant d'installer.
Toutes les pages
Guides
- Appeler un LLM local depuis son code : API Ollama et autres
Brancher un programme sur un modèle local : API native d'Ollama, interface compatible, adresses et ports d'Ollama, LM Studio, llama.cpp et vLLM.
- IA locale et confidentialité : ce qui est protégé, ou pas
Un LLM local garde vos questions chez vous, mais ne règle pas tout : accès au serveur, modèles cloud, téléchargements, RGPD. La liste à vérifier.
- Installer Ollama sur Windows, Mac et Linux
Installer Ollama pas à pas : configuration requise, commande Linux, pilotes NVIDIA et AMD, emplacement des modèles, mise à jour et désinstallation.
- llama.cpp : installer et lancer un modèle GGUF
llama.cpp, le moteur derrière beaucoup d'outils locaux : installation, lancement d'un modèle Hugging Face, serveur compatible OpenAI, options utiles.
- LLM local sur Mac Apple Silicon : Ollama, MLX, LM Studio
Faire tourner un modèle de langage sur un Mac M1 à M5 : mémoire unifiée, Metal, moteur MLX d'Ollama, LM Studio, mlx-lm. Ce que disent les docs.
- LM Studio : utiliser un LLM local avec une interface
LM Studio pour exécuter un modèle de langage sur un poste : configuration requise, moteurs llama.cpp et MLX, serveur local, conditions d'utilisation.
- Ollama sur un serveur : partager un LLM sur le réseau
Installer Ollama sur un serveur de l'entreprise : service systemd, Docker, OLLAMA_HOST, proxy Nginx, accès concurrents. Les réglages et les précautions.
- Open WebUI avec Ollama : installer une interface locale
Donner une interface de discussion à votre LLM local : installer Open WebUI avec Docker ou pip, le relier à Ollama, gérer les comptes, lire la licence.
- Quel matériel pour un LLM local ? Calculer la mémoire vidéo
Combien de mémoire vidéo pour un LLM local selon la taille du modèle et la quantification : la méthode de calcul et les chiffres lus dans les docs.
- vLLM : installer un serveur de LLM pour une équipe
vLLM sur un serveur Linux à carte graphique : prérequis, installation, vllm serve, clé d'accès, mémoire, plusieurs cartes. D'après la documentation.
Comparatifs
- LLM local ou cloud : les critères pour décider
Modèle chez vous ou service en ligne : données, taille de modèle, utilisateurs simultanés, maintenance, compétences, licences.
- Quels modèles faire tourner en local ? Tailles et licences
Gemma 4, Qwen 3.5, Ministral 3, Mistral Small, Llama 3.1 en local : tailles, mémoire, licences exactes, d'après les fiches officielles.
Fiches
- Commandes Ollama : le mémo complet en français
Les commandes Ollama utiles au quotidien : pull, run, ls, ps, stop, rm, create, serve, avec le Modelfile et les variables d'environnement.
Définitions
- Quantification GGUF expliquée : Q4_K_M, Q8_0, IQ4_XS
Ce que veulent dire Q4_K_M, Q5_K_M, Q8_0 ou IQ4_XS dans un fichier GGUF, combien de bits par poids, et comment choisir pour un LLM local.