Tous les articles

LLM local pour entreprise : 7 questions avant d'installer

En bref. Un LLM local est un modèle de langage qui tourne entièrement sur votre propre matériel, sans appel à un service externe. Cela réduit un risque, mais ne règle ni la qualité des réponses, ni la sécurité, ni le RGPD. Ce guide propose sept questions à se poser avant d’installer un modèle, ainsi qu’un ordre de grandeur de la taille des fichiers.

Illustration au crayon et à l'aquarelle d'une professionnelle utilisant un assistant sur ordinateur, avec une station de travail et des documents.
Installation fictive. Le traitement local doit être vérifié sur toute la chaîne ; ce dessin ne prouve ni la sécurité ni la conformité.

« LLM local » est devenu une expression courante, mais elle recouvre des situations très différentes : un logiciel gratuit sur un portable, un serveur dans un local technique, ou simplement un outil en ligne qu’on a présenté comme privé. Ce guide aide le dirigeant d’une petite entreprise à décider s’il en a besoin, et à quelles conditions en tester un. Il s’appuie sur les pages des projets llama.cpp et Ollama, sur la documentation de Hugging Face, sur une page de la CNIL et sur l’article 32 du RGPD, consultés le 29 octobre 2026.

Qu’est-ce qu’un LLM local, exactement ?

Un LLM (grand modèle de langage) est un programme qui produit du texte à partir d’une consigne. Il se compose de deux éléments : un moteur qui l’exécute, et un fichier de « poids » qui contient le modèle appris. Faire tourner un LLM en local, c’est télécharger ces poids, puis les exécuter sur votre matériel.

Ici, local désigne la chaîne entière : pas d’API externe, pas de repli automatique vers le cloud, pas de télémétrie, pas de synchronisation des dossiers vers un service tiers. Vérifiez aussi les destinations de sauvegarde. Un logiciel installé sur un poste mais branché sur un service en ligne n’est pas local au sens de ce guide.

Un point de vocabulaire : on parle souvent de modèles « open source », alors que beaucoup sont simplement des modèles à poids ouverts. La licence du moteur et celle du modèle sont deux choses distinctes. Les projets llama.cpp et Ollama sont publiés sous licence MIT, mais cette licence ne dit rien de celle du modèle que vous téléchargerez : lisez-la modèle par modèle, surtout pour un usage commercial.

Quels outils pour faire tourner un modèle ?

llama.cpp Ollama
Rôle moteur d’inférence outil qui télécharge et lance des modèles
Système large gamme de matériels (processeurs x86, Apple silicon, cartes graphiques Nvidia, AMD et Intel) macOS, Windows, Linux et Docker
Licence du logiciel MIT MIT
Interface ligne de commande et serveur ligne de commande et API locale

Selon son README, llama.cpp permet d’exécuter des modèles avec une installation minimale sur une large gamme de matériels et prend en charge des quantifications de 1,5 à 8 bits. Le README d’Ollama indique que l’on peut lancer un modèle en local et que l’API est servie sur le port 11434 de la machine. Ces pages établissent que c’est faisable techniquement ; elles ne disent rien de la qualité des réponses pour votre métier, ni de la conformité d’un usage donné.

Quelle machine faut-il prévoir ?

Un modèle est un gros fichier de nombres. La quantification réduit la précision de chaque nombre pour que le fichier soit plus petit. La documentation de Hugging Face sur le format GGUF indique le nombre de bits par poids pour chaque type de quantification : environ 4,5 pour Q4_K, 6,56 pour Q6_K et 16 pour F16.

Un calcul simple permet d’estimer la taille du fichier (nombre de paramètres × bits par poids ÷ 8). Ces estimations sont calculées à partir des tableaux, et non mesurées :

Modèle En F16 En Q4_K
7 milliards de paramètres environ 14 Go environ 3,9 Go
14 milliards de paramètres environ 28 Go environ 7,9 Go

La mémoire réellement utilisée dépasse la taille du fichier : elle dépend aussi de la longueur du contexte, du moteur et des réglages. Et la qualité baisse quand on quantifie davantage, dans une mesure qui dépend du modèle et de la tâche. Ces chiffres servent à écarter les cas impossibles, pas à dimensionner un achat : testez d’abord sur la machine dont vous disposez.

Faut-il un LLM local ? Sept questions pour trancher

Posez-vous ces questions en pensant à une tâche précise, et non à « l’IA » en général.

Question Si la réponse est… Alors
1. Quelle donnée le modèle doit-il lire ? personnelle ou confidentielle une solution locale mérite d’être étudiée sérieusement
2. Un outil en ligne suffirait-il, sur des textes sans donnée sensible ? oui le local n’est pas nécessaire
3. Quel niveau de qualité vous faut-il ? rédaction fine, raisonnement long testez d’abord : les petits modèles déçoivent parfois
4. Combien de personnes l’utiliseront ? plusieurs, en même temps prévoyez un serveur, pas un seul poste
5. Qui installe, met à jour et dépanne ? personne ne pas démarrer
6. Qui relit les réponses avant usage ? personne ne pas démarrer
7. Comment saurez-vous que cela marche ? pas de critère écrire vingt questions réelles et la bonne réponse attendue

Si vous répondez « non » à la question 1 et « oui » à la question 2, un outil en ligne sera probablement plus simple à utiliser. Si les questions 5, 6 et 7 n’ont pas de réponse, le projet n’est pas prêt, quel que soit le matériel.

Que disent la CNIL et le RGPD ?

Deux points permettent de déterminer si une solution locale mérite d’être envisagée.

  • Une recommandation de la CNIL, dans son contexte. Dans sa page sur le déploiement d’une IA générative, la CNIL recommande de « privilégier le recours à des systèmes locaux, sécurisés et spécialisés ». Cette page apporte de premières précisions sur le déploiement, mais ne détaille pas les exigences liées à l’hébergement sur site ni les mesures de sécurité. Elle ne traite pas non plus de la conception et de l’entraînement des modèles.

  • La sécurité, quel que soit le lieu. L’article 32 du RGPD demande au responsable du traitement de mettre en œuvre des mesures techniques et organisationnelles appropriées au risque. Il n’impose pas le traitement local, et le traitement local ne dispense pas de ces mesures : gestion nominative des accès, journaux d’activité, sauvegardes et durée de conservation définie.

Ces pages ne couvrent pas tous les cas. Si vous traitez des données de santé, de clients ou de salariés, définissez la finalité du traitement et sa base légale avec votre délégué à la protection des données ou un juriste avant de vous lancer.

À quoi ressemble un premier test raisonnable ?

Voici un exemple fictif, qui ne concerne aucun client réel. Une entreprise veut résumer des comptes rendus internes. Plutôt que d’acheter du matériel, elle procède ainsi :

  1. Constituer le jeu d’essai. Réunir vingt comptes rendus fictifs ou anonymisés et faire rédiger par une personne le résumé attendu pour chacun.
  2. Installer sur la machine existante un petit modèle à l’aide de l’un des outils ci-dessus, hors connexion si cette exigence est impérative.
  3. Comparer. Noter les oublis, les erreurs de chiffres et de noms, et le temps de réponse. Effectuer le même test avec l’outil en ligne que vous utilisez actuellement.
  4. Décider seulement ensuite, à partir des résultats : conserver l’outil en ligne, passer à un modèle local plus grand ou ne rien changer.

Cette démarche illustre une méthode, pas un résultat mesuré. Les écarts réels dépendent du modèle, de la langue, de la machine et des documents.

Une personne compare deux réponses à un document source et marque un écart au crayon bleu.
Illustration d'un test proposé : vérifier les oublis, les noms, les chiffres et le temps de réponse. Aucun résultat mesuré ni modèle gagnant n'est présenté.

Quelles sont les limites d’un LLM local ?

  • La qualité n’est pas garantie. Les modèles qu’on peut faire tourner sur un poste sont souvent plus petits que les plus grands modèles en ligne. Des erreurs, des oublis et des réponses erronées formulées avec assurance restent possibles : une relecture humaine est nécessaire.

  • Il faut du matériel et de la maintenance. Il faut prévoir suffisamment de mémoire, éventuellement une carte graphique, les mises à jour des outils et des modèles, ainsi qu’une personne capable de résoudre les problèmes. Une solution locale n’est pas forcément gratuite : il faut tenir compte du matériel, de l’électricité et du temps consacré à sa gestion.

  • Les licences des modèles varient. La licence du moteur ne dit rien de celle des poids ; certaines restreignent l’usage commercial.

  • Le local n’est pas un certificat de conformité. Il réduit un risque (l’envoi de données à un tiers), mais ne dispense ni d’informer les personnes concernées, ni de sécuriser les données, ni de consulter votre délégué à la protection des données.

  • L’usage à plusieurs complique les choses. Pour partager un modèle installé sur un poste, il faut configurer le réseau, gérer les droits d’accès et sécuriser l’ensemble.

Comment travaille Castel Studio sur l’IA locale ?

Notre page IA privée présente nos offres : la transcription sans cloud à partir de 90 € par lot (le lieu de traitement, les accès et la durée de conservation sont convenus avant l’envoi des fichiers), un assistant qui connaît votre activité à partir de 790 €, et une station de travail sur mesure proposée sur devis écrit. L’hébergement, le modèle ou l’API, l’électricité et la maintenance font l’objet d’un accord séparé. Les tests sont définis par écrit ; aucun résultat n’est garanti.

Pour comparer les options avant de choisir, consultez notre guide sur l’IA privée pour entreprise, qui présente dix questions à poser à un fournisseur. Si votre besoin est plutôt d’automatiser une tâche, voyez aussi notre article sur les agents IA pour une petite entreprise et sur l’extraction de factures PDF vers Excel.

Décrivez en quelques lignes la tâche à accomplir, le type de documents concernés et le matériel dont vous disposez. Ne joignez aucun fichier sensible au formulaire. Nous répondons par écrit sous 48 heures, y compris pour vous dire qu’un outil en ligne suffit dans votre cas.

Questions

Qu'est-ce qu'un LLM local ?

Un modèle de langage dont les poids sont téléchargés et exécutés sur votre propre matériel. Pour que « local » soit exact, toute la chaîne doit l'être : pas d'API externe, pas de repli vers le cloud, pas de télémétrie ni de synchronisation automatique des dossiers. Une application installée sur un poste ne suffit pas à le garantir.

Un LLM local est-il conforme au RGPD ?

Pas automatiquement. Garder les données sur vos machines évite de les envoyer à un prestataire, mais la finalité, l'information des personnes, les accès, la conservation et la sécurité restent à traiter. Le RGPD n'impose pas le local : il demande des mesures adaptées au risque.

De quelle machine a-t-on besoin pour un LLM local ?

Cela dépend du modèle, de sa quantification et de la longueur de contexte. À titre d'ordre de grandeur, un modèle de 7 milliards de paramètres quantifié autour de 4,5 bits par poids occupe environ 4 Go en fichier ; la mémoire réellement utilisée est plus élevée. Testez sur votre matériel avant d'acheter.

Un modèle local égale-t-il ChatGPT ou Claude ?

Il n'y a pas de réponse générale. Les modèles qu'une petite entreprise peut faire tourner sont souvent plus petits que les modèles en ligne les plus grands. Mesurez sur vingt questions réelles de votre activité, et comparez avec l'outil que vous utilisez aujourd'hui.

Combien coûte la mise en place d'une IA locale ?

Chez Castel Studio, la page IA privée présente des offres à partir de 90 € (transcription sans cloud, par lot) et un assistant sur vos documents à partir de 790 €. Une station de travail se chiffre sur devis écrit. Matériel, électricité, maintenance et temps de relecture sont à prévoir à part.

Contact

Une seule personne lit cette boîte — la même qui construit ce que vous commandez.

Décrivez votre besoin

Dites-nous ce que vous avez et le résultat attendu — même une seule petite tâche. Pas de cahier des charges : sous 48 heures, un plan et un prix par écrit, une question, ou un « ce n’est pas pour nous » honnête.

Ajoutez la situation, les fichiers ou liens, le délai, la langue, les limites de confidentialité et le budget si vous en avez un.

Fichier (facultatif)
Aucun fichier choisi

Un brief, une photo, un tableau — ce qui explique la tâche plus vite qu'un texte. Jusqu'à 8 Mo, stocké chez notre hébergeur. Merci de ne pas envoyer de documents personnels sensibles ou médicaux via le site.

L’envoi ne crée ni commande ni paiement. Réponse sous 48 heures. Plutôt par e-mail ? contact@castel.studio

Parlez-nous

Plutôt par téléphone ou messagerie ? Écrivez ou appelez — c'est le fondateur du studio qui répond.

Se connecter sur LinkedIn

Téléphone · WhatsApp · Telegram

France+33 7 49 57 41 69WhatsAppTelegram

Ukraine+38 063 95 77 111WhatsAppTelegram

Vous préférez une plateforme ?

Commandez le même travail sur une plateforme, avec son paiement sécurisé.

Studio d'IA à une personne, basé à Nice. Celui qui répond à votre message est celui qui fait le travail — pas d'intermédiaire commercial. Les fichiers sont traités sur notre propre machine, pas dans le cloud d'un tiers.

Nice 06100, France · Ouvrir dans les cartes →

SIREN 103 115 705

Décrivez votre besoin