Quand préférer un LLM local ?

Quand les données ne doivent pas sortir de vos murs, quand un modèle de taille moyenne suffit et quand vous avez les compétences pour entretenir le serveur. La CNIL juge le déploiement « sur site » généralement plus opportun et plus sûr pour les données personnelles ou sensibles.

Peut-on passer du local au cloud sans tout réécrire ?

Souvent, oui : Ollama, vLLM, llama.cpp et LM Studio exposent une interface compatible avec celle d'OpenAI, que des services en ligne proposent aussi (le cloud d'Ollama, par exemple). Changer de serveur revient alors surtout à changer l'adresse de base et la clé.

LLM local ou cloud : les critères pour décider

Le local s'impose quand vos données ne doivent pas quitter l'entreprise et qu'un modèle de taille moyenne suffit à la tâche. Le cloud, c'est-à-dire un service en ligne qui exécute le modèle pour vous, s'impose quand il vous faut les plus grands modèles, beaucoup d'utilisateurs simultanés, ou personne en interne pour entretenir un serveur. Entre les deux, on peut combiner : local pour les données sensibles, service en ligne pour le reste. Les critères ci-dessous s'appuient sur la CNIL et sur la documentation des outils, lues le 15/11/2026.

Ce site est édité par IArche, qui édite ALMA, une plateforme en ligne : gardez-le en tête en lisant ce comparatif, qui s'en tient aux faits publiés.

Les critères en un tableau

Critère	Local	Cloud
Où vont les données	restent sur vos machines	partent chez le fournisseur, encadré par contrat
Taille de modèle	limitée par votre matériel	les plus grands modèles, sans matériel
Utilisateurs simultanés	à dimensionner vous-même	géré par le fournisseur, dans les limites de l'offre
Mises à jour, pilotes, pannes	à votre charge	à la charge du fournisseur
Compétences internes	administration Linux, cartes graphiques, réseau	intégration d'une interface de programmation
Dépenses	achat ou location de matériel, électricité, temps passé	facturation à l'usage ou par abonnement
Maîtrise des versions	totale : vous choisissez quand changer	le fournisseur fait évoluer sa liste ; Mistral AI, par exemple, publie une liste de versions dépréciées

Critère 1 : la nature des données

C'est souvent le critère décisif. La CNIL, dans ses questions-réponses du 18/07/2024, distingue trois modes : « sur site », infrastructure cloud hébergée, ou accès « à la requête via des API ». Pour les données personnelles ou sensibles, elle estime qu'« il semble généralement plus opportun et plus sécurisé de privilégier le déploiement de solutions « sur site » ».

Le cloud n'est pas exclu pour autant. La CNIL indique qu'il faut alors « sécuriser le recours à une infrastructure externe par le biais d'un contrat de sous-traitance », et suggère de s'opposer à la réutilisation des données d'usage par le fournisseur quand c'est possible. Ce que le local protège, et ce qu'il ne protège pas, est détaillé sur IA locale et confidentialité.

Critère 2 : la taille du modèle dont vous avez besoin

Les plus grands modèles à poids ouverts demandent un matériel de centre de données. D'après le README de llama.cpp, Llama 3.1 405B pèse encore 249,1 Go quantifié en Q4_K_M, et 43,1 Go en version 70B. La fiche de Mistral Small 4, 119 milliards de paramètres, montre un lancement vLLM réparti sur deux cartes graphiques. À l'inverse, un modèle de 8 milliards de paramètres en Q4_K_M tient en moins de 5 Go.

Posez-vous la question franchement : la tâche visée (résumer, classer, rédiger un brouillon, répondre sur des documents) demande-t-elle le plus grand modèle du marché ? Testez un modèle moyen en local avant de conclure. Les tailles par modèle sont sur Quels modèles faire tourner en local, le calcul de mémoire sur Quel matériel pour un LLM local.

Critère 3 : le nombre d'utilisateurs simultanés

En local, la capacité se règle à la main. Ollama traite par défaut une requête à la fois par modèle (OLLAMA_NUM_PARALLEL vaut 1 d'après sa FAQ), et chaque requête parallèle supplémentaire consomme de la mémoire. Pour beaucoup d'accès simultanés, il faut un moteur de service comme vLLM, qui demande Linux et une carte graphique compatible. Un service en ligne absorbe ces variations sans que vous ayez à acheter de matériel.

Critère 4 : qui entretient le serveur

En local, tout est pour vous : pilotes NVIDIA ou AMD, mises à jour du moteur (sous Linux, Ollama se met à jour en relançant son script d'installation), sauvegarde, supervision, sécurité du réseau. Prévoyez qui s'en charge, et qui le remplace pendant ses congés.

Critère 5 : les licences

En local, vous êtes responsable du respect de la licence du modèle (Apache 2.0, licence communautaire de Meta…) et de celle du logiciel. Les conditions de LM Studio, par exemple, autorisent l'usage personnel et interne à l'entreprise, mais interdisent de s'en servir pour fournir un service hébergé à des tiers. Vérifiez avant de construire un service client sur un outil de poste de travail.

La voie mixte

Les outils locaux parlent le même langage que beaucoup de services en ligne. Ollama expose une interface compatible avec celle d'OpenAI sur http://localhost:11434/v1/ (documentation), vLLM sur http://localhost:8000 (documentation). Un même programme peut donc envoyer les demandes sensibles à un modèle local et les autres à un service en ligne, en changeant l'adresse et la clé. La méthode est détaillée sur Appeler un LLM local depuis son code.

Une méthode pour trancher

Classez vos usages selon la sensibilité des données traitées.
Pour les usages sensibles, testez un modèle moyen en local sur vos vraies questions.
Si la qualité suffit, chiffrez le matériel et le temps d'entretien ; sinon, regardez quelles garanties contractuelles offre un service en ligne.
Revoyez la décision à chaque nouvelle génération de modèles : refaites le test de l'étape 2.