Quel matériel pour un LLM local ? Calculer la mémoire vidéo

La mémoire de la carte graphique (la VRAM) décide de la taille du modèle que vous pouvez faire tourner vite. Elle doit contenir trois choses : les poids du modèle, dont le poids dépend du nombre de paramètres et de la quantification ; le cache du contexte, qui grandit avec la longueur des textes traités ; une marge de calcul. Pour un modèle de 8 milliards de paramètres quantifié sur 4 bits environ, les poids pèsent un peu moins de 5 Go. Les chiffres ci-dessous viennent de la documentation d'Ollama, de llama.cpp et de Hugging Face, lue le 15/11/2026.

La méthode de calcul

1. Les poids. Nombre de paramètres × bits par poids ÷ 8 donne des octets. Une quantification Q4_K_M correspond à environ 4,9 bits par poids d'après le tableau de llama.cpp, F16 à 16 bits.
2. Le contexte. Le cache du contexte s'ajoute aux poids, et croît avec la fenêtre choisie et le nombre de requêtes simultanées. La FAQ d'Ollama précise que la mémoire évolue avec OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH.
3. La marge. L'estimateur de mémoire de Hugging Face calcule la mémoire nécessaire pour charger un modèle, pas pour l'utiliser : pour l'inférence, il faut s'attendre à jusqu'à 20 % de plus, d'après les travaux d'EleutherAI qu'il cite.

Le poids d'un modèle selon la quantification

Le README de l'outil de quantification de llama.cpp donne, pour Llama 3.1 8B :

Et pour la famille Llama 3.1 en Q4_K_M : 4,9 Go pour 8B, 43,1 Go pour 70B, 249,1 Go pour 405B. La page précise qu'à ce stade, besoins en mémoire et en disque sont les mêmes. Les tailles de téléchargement de la bibliothèque Ollama concordent : 4,9 Go pour llama3.1:8b, 43 Go pour llama3.1:70b.

Le contexte, la variable oubliée

La page d'Ollama sur la longueur de contexte fixe la fenêtre par défaut selon la mémoire vidéo :

Elle prévient qu'une fenêtre plus grande augmente la mémoire nécessaire. Pour gagner de la place, la FAQ décrit la quantification du cache : q8_0 en utilise environ la moitié de f16, q4_0 environ le quart, avec une perte de précision plus sensible sur les longs contextes. Si vous voulez faire lire de longs documents au modèle, prévoyez donc nettement plus que le poids du fichier.

Des repères lus sur les fiches officielles

Un calcul pas à pas, à titre d'exemple

Prenons un poste qui doit faire tourner Llama 3.1 8B en Q4_K_M pour une personne. Poids : 4,58 Gio. Marge d'inférence : jusqu'à 20 % de plus, soit autour de 5,5 Gio. Il reste à ajouter le cache du contexte, qui dépend de la fenêtre choisie. Une carte de 8 Go laisse de la place pour une fenêtre modeste ; pour de longs documents ou plusieurs utilisateurs, visez plus. Ce calcul donne un ordre de grandeur : vérifiez toujours en conditions réelles.

Vérifier en vrai

Après avoir chargé un modèle dans Ollama :

ollama ps

La colonne PROCESSOR indique 100% GPU quand tout tient dans la carte. Une part de processeur signifie que le modèle déborde sur la mémoire vive : d'après le guide de démarrage, cela fonctionne, mais les réponses peuvent être plus lentes.

Quelle carte graphique ?

La documentation ne recommande pas de modèle de carte ; elle dit ce qui est pris en charge. D'après la page d'Ollama sur les cartes graphiques : NVIDIA de « compute capability » 5.0 ou plus avec un pilote 550 ou plus récent ; AMD avec ROCm v7 sous Linux, et sous Windows les séries RX 7600 à 7900 et PRO W7500 à W7900 ; d'autres cartes par Vulkan ; les Mac Apple Silicon par Metal. Le critère qui compte ensuite, c'est la quantité de mémoire de la carte. Sur un Mac Apple Silicon, la documentation d'Ollama parle de mémoire unifiée, partagée entre processeur et carte graphique (voir LLM local sur Mac Apple Silicon). Pour un serveur multi-utilisateur avec vLLM, la carte NVIDIA doit avoir une « compute capability » 7.5 ou plus (voir vLLM).

Avant d'acheter

• Testez le modèle visé sur un matériel existant ou loué, avec vos propres questions.
• Partez de la taille du contexte dont vous avez besoin, pas seulement du poids du modèle.
• Comparez avec une solution hébergée : les critères sont sur Local ou cloud, et le choix entre petit et grand modèle sur la page Petit ou grand modèle du site consacré aux modèles.