LLM local pour entreprise : 7 questions avant d'installer
En bref. Un LLM local est un modèle de langage qui tourne entièrement sur votre propre matériel, sans appel à un service externe. Cela réduit un risque, mais ne règle ni la qualité des réponses, ni la sécurité, ni le RGPD. Ce guide propose sept questions à se poser avant d’installer un modèle, ainsi qu’un ordre de grandeur de la taille des fichiers.
« LLM local » est devenu une expression courante, mais elle recouvre des situations très différentes : un logiciel gratuit sur un portable, un serveur dans un local technique, ou simplement un outil en ligne qu’on a présenté comme privé. Ce guide aide le dirigeant d’une petite entreprise à décider s’il en a besoin, et à quelles conditions en tester un. Il s’appuie sur les pages des projets llama.cpp et Ollama, sur la documentation de Hugging Face, sur une page de la CNIL et sur l’article 32 du RGPD, consultés le 29 octobre 2026.
Qu’est-ce qu’un LLM local, exactement ?
Un LLM (grand modèle de langage) est un programme qui produit du texte à partir d’une consigne. Il se compose de deux éléments : un moteur qui l’exécute, et un fichier de « poids » qui contient le modèle appris. Faire tourner un LLM en local, c’est télécharger ces poids, puis les exécuter sur votre matériel.
Ici, local désigne la chaîne entière : pas d’API externe, pas de repli automatique vers le cloud, pas de télémétrie, pas de synchronisation des dossiers vers un service tiers. Vérifiez aussi les destinations de sauvegarde. Un logiciel installé sur un poste mais branché sur un service en ligne n’est pas local au sens de ce guide.
Un point de vocabulaire : on parle souvent de modèles « open source », alors que beaucoup sont simplement des modèles à poids ouverts. La licence du moteur et celle du modèle sont deux choses distinctes. Les projets llama.cpp et Ollama sont publiés sous licence MIT, mais cette licence ne dit rien de celle du modèle que vous téléchargerez : lisez-la modèle par modèle, surtout pour un usage commercial.
Quels outils pour faire tourner un modèle ?
| llama.cpp | Ollama | |
|---|---|---|
| Rôle | moteur d’inférence | outil qui télécharge et lance des modèles |
| Système | large gamme de matériels (processeurs x86, Apple silicon, cartes graphiques Nvidia, AMD et Intel) | macOS, Windows, Linux et Docker |
| Licence du logiciel | MIT | MIT |
| Interface | ligne de commande et serveur | ligne de commande et API locale |
Selon son README, llama.cpp permet d’exécuter des modèles avec une installation minimale sur une large gamme de matériels et prend en charge des quantifications de 1,5 à 8 bits. Le README d’Ollama indique que l’on peut lancer un modèle en local et que l’API est servie sur le port 11434 de la machine. Ces pages établissent que c’est faisable techniquement ; elles ne disent rien de la qualité des réponses pour votre métier, ni de la conformité d’un usage donné.
Quelle machine faut-il prévoir ?
Un modèle est un gros fichier de nombres. La quantification réduit la précision de chaque nombre pour que le fichier soit plus petit. La documentation de Hugging Face sur le format GGUF indique le nombre de bits par poids pour chaque type de quantification : environ 4,5 pour Q4_K, 6,56 pour Q6_K et 16 pour F16.
Un calcul simple permet d’estimer la taille du fichier (nombre de paramètres × bits par poids ÷ 8). Ces estimations sont calculées à partir des tableaux, et non mesurées :
| Modèle | En F16 | En Q4_K |
|---|---|---|
| 7 milliards de paramètres | environ 14 Go | environ 3,9 Go |
| 14 milliards de paramètres | environ 28 Go | environ 7,9 Go |
La mémoire réellement utilisée dépasse la taille du fichier : elle dépend aussi de la longueur du contexte, du moteur et des réglages. Et la qualité baisse quand on quantifie davantage, dans une mesure qui dépend du modèle et de la tâche. Ces chiffres servent à écarter les cas impossibles, pas à dimensionner un achat : testez d’abord sur la machine dont vous disposez.
Faut-il un LLM local ? Sept questions pour trancher
Posez-vous ces questions en pensant à une tâche précise, et non à « l’IA » en général.
| Question | Si la réponse est… | Alors |
|---|---|---|
| 1. Quelle donnée le modèle doit-il lire ? | personnelle ou confidentielle | une solution locale mérite d’être étudiée sérieusement |
| 2. Un outil en ligne suffirait-il, sur des textes sans donnée sensible ? | oui | le local n’est pas nécessaire |
| 3. Quel niveau de qualité vous faut-il ? | rédaction fine, raisonnement long | testez d’abord : les petits modèles déçoivent parfois |
| 4. Combien de personnes l’utiliseront ? | plusieurs, en même temps | prévoyez un serveur, pas un seul poste |
| 5. Qui installe, met à jour et dépanne ? | personne | ne pas démarrer |
| 6. Qui relit les réponses avant usage ? | personne | ne pas démarrer |
| 7. Comment saurez-vous que cela marche ? | pas de critère | écrire vingt questions réelles et la bonne réponse attendue |
Si vous répondez « non » à la question 1 et « oui » à la question 2, un outil en ligne sera probablement plus simple à utiliser. Si les questions 5, 6 et 7 n’ont pas de réponse, le projet n’est pas prêt, quel que soit le matériel.
Que disent la CNIL et le RGPD ?
Deux points permettent de déterminer si une solution locale mérite d’être envisagée.
-
Une recommandation de la CNIL, dans son contexte. Dans sa page sur le déploiement d’une IA générative, la CNIL recommande de « privilégier le recours à des systèmes locaux, sécurisés et spécialisés ». Cette page apporte de premières précisions sur le déploiement, mais ne détaille pas les exigences liées à l’hébergement sur site ni les mesures de sécurité. Elle ne traite pas non plus de la conception et de l’entraînement des modèles.
-
La sécurité, quel que soit le lieu. L’article 32 du RGPD demande au responsable du traitement de mettre en œuvre des mesures techniques et organisationnelles appropriées au risque. Il n’impose pas le traitement local, et le traitement local ne dispense pas de ces mesures : gestion nominative des accès, journaux d’activité, sauvegardes et durée de conservation définie.
Ces pages ne couvrent pas tous les cas. Si vous traitez des données de santé, de clients ou de salariés, définissez la finalité du traitement et sa base légale avec votre délégué à la protection des données ou un juriste avant de vous lancer.
À quoi ressemble un premier test raisonnable ?
Voici un exemple fictif, qui ne concerne aucun client réel. Une entreprise veut résumer des comptes rendus internes. Plutôt que d’acheter du matériel, elle procède ainsi :
- Constituer le jeu d’essai. Réunir vingt comptes rendus fictifs ou anonymisés et faire rédiger par une personne le résumé attendu pour chacun.
- Installer sur la machine existante un petit modèle à l’aide de l’un des outils ci-dessus, hors connexion si cette exigence est impérative.
- Comparer. Noter les oublis, les erreurs de chiffres et de noms, et le temps de réponse. Effectuer le même test avec l’outil en ligne que vous utilisez actuellement.
- Décider seulement ensuite, à partir des résultats : conserver l’outil en ligne, passer à un modèle local plus grand ou ne rien changer.
Cette démarche illustre une méthode, pas un résultat mesuré. Les écarts réels dépendent du modèle, de la langue, de la machine et des documents.
Quelles sont les limites d’un LLM local ?
-
La qualité n’est pas garantie. Les modèles qu’on peut faire tourner sur un poste sont souvent plus petits que les plus grands modèles en ligne. Des erreurs, des oublis et des réponses erronées formulées avec assurance restent possibles : une relecture humaine est nécessaire.
-
Il faut du matériel et de la maintenance. Il faut prévoir suffisamment de mémoire, éventuellement une carte graphique, les mises à jour des outils et des modèles, ainsi qu’une personne capable de résoudre les problèmes. Une solution locale n’est pas forcément gratuite : il faut tenir compte du matériel, de l’électricité et du temps consacré à sa gestion.
-
Les licences des modèles varient. La licence du moteur ne dit rien de celle des poids ; certaines restreignent l’usage commercial.
-
Le local n’est pas un certificat de conformité. Il réduit un risque (l’envoi de données à un tiers), mais ne dispense ni d’informer les personnes concernées, ni de sécuriser les données, ni de consulter votre délégué à la protection des données.
-
L’usage à plusieurs complique les choses. Pour partager un modèle installé sur un poste, il faut configurer le réseau, gérer les droits d’accès et sécuriser l’ensemble.
Comment travaille Castel Studio sur l’IA locale ?
Notre page IA privée présente nos offres : la transcription sans cloud à partir de 90 € par lot (le lieu de traitement, les accès et la durée de conservation sont convenus avant l’envoi des fichiers), un assistant qui connaît votre activité à partir de 790 €, et une station de travail sur mesure proposée sur devis écrit. L’hébergement, le modèle ou l’API, l’électricité et la maintenance font l’objet d’un accord séparé. Les tests sont définis par écrit ; aucun résultat n’est garanti.
Pour comparer les options avant de choisir, consultez notre guide sur l’IA privée pour entreprise, qui présente dix questions à poser à un fournisseur. Si votre besoin est plutôt d’automatiser une tâche, voyez aussi notre article sur les agents IA pour une petite entreprise et sur l’extraction de factures PDF vers Excel.
Décrivez en quelques lignes la tâche à accomplir, le type de documents concernés et le matériel dont vous disposez. Ne joignez aucun fichier sensible au formulaire. Nous répondons par écrit sous 48 heures, y compris pour vous dire qu’un outil en ligne suffit dans votre cas.
Questions
Qu'est-ce qu'un LLM local ?
Un modèle de langage dont les poids sont téléchargés et exécutés sur votre propre matériel. Pour que « local » soit exact, toute la chaîne doit l'être : pas d'API externe, pas de repli vers le cloud, pas de télémétrie ni de synchronisation automatique des dossiers. Une application installée sur un poste ne suffit pas à le garantir.
Un LLM local est-il conforme au RGPD ?
Pas automatiquement. Garder les données sur vos machines évite de les envoyer à un prestataire, mais la finalité, l'information des personnes, les accès, la conservation et la sécurité restent à traiter. Le RGPD n'impose pas le local : il demande des mesures adaptées au risque.
De quelle machine a-t-on besoin pour un LLM local ?
Cela dépend du modèle, de sa quantification et de la longueur de contexte. À titre d'ordre de grandeur, un modèle de 7 milliards de paramètres quantifié autour de 4,5 bits par poids occupe environ 4 Go en fichier ; la mémoire réellement utilisée est plus élevée. Testez sur votre matériel avant d'acheter.
Un modèle local égale-t-il ChatGPT ou Claude ?
Il n'y a pas de réponse générale. Les modèles qu'une petite entreprise peut faire tourner sont souvent plus petits que les modèles en ligne les plus grands. Mesurez sur vingt questions réelles de votre activité, et comparez avec l'outil que vous utilisez aujourd'hui.
Combien coûte la mise en place d'une IA locale ?
Chez Castel Studio, la page IA privée présente des offres à partir de 90 € (transcription sans cloud, par lot) et un assistant sur vos documents à partir de 790 €. Une station de travail se chiffre sur devis écrit. Matériel, électricité, maintenance et temps de relecture sont à prévoir à part.