Все статьи

Локальная LLM для малого бизнеса: 7 вопросов до установки

Коротко. Локальная LLM для малого бизнеса — это языковая модель, которая целиком работает на вашем оборудовании и не обращается к внешним сервисам. Это снижает один риск, но не решает ни вопрос качества ответов, ни безопасности, ни GDPR. В статье семь вопросов, которые стоит задать до установки, и примерные размеры моделей.

Карандашно-акварельный рисунок: предпринимательница работает с помощником на компьютере; рядом рабочая станция и документы проекта.
Вымышленный офис. Локальную обработку проверяют по всей цепочке; рисунок не подтверждает безопасность или соответствие требованиям.

Выражение «локальная LLM» стало привычным, но под ним скрываются очень разные ситуации: бесплатная программа на ноутбуке, сервер в техническом помещении или просто онлайн-сервис, который назвали приватным. Эта статья помогает владельцу малого бизнеса решить, нужна ли ему такая модель и на каких условиях её стоит попробовать. Она опирается на страницы проектов llama.cpp и Ollama, документацию Hugging Face, одну страницу CNIL и статью 32 GDPR, прочитанные 29 октября 2026 года.

Что такое локальная LLM?

LLM (большая языковая модель) — это программа, которая создаёт текст по запросу. У неё две части: движок, который её запускает, и файл «весов», в котором хранится обученная модель. Запустить LLM локально значит скачать эти веса и выполнять их на своём оборудовании.

Здесь локальной названа вся цепочка: без внешнего API, без автоматического отката в облако, без телеметрии, без синхронизации папок со сторонним сервисом. Проверьте и места хранения резервных копий. Программа, установленная на компьютере, но подключённая к онлайн-сервису, в смысле этой статьи не локальная.

Замечание о терминах: модели часто называют «с открытым исходным кодом», хотя у многих открыты только веса. Лицензия движка и лицензия модели — разные вещи. Проекты llama.cpp и Ollama распространяются по лицензии MIT, но она ничего не говорит о лицензии модели, которую вы скачаете: читайте её для каждой модели отдельно, особенно при коммерческом использовании.

Чем запускать модель?

llama.cpp Ollama
Роль движок для запуска модели программа, которая скачивает и запускает модели
Системы широкий круг оборудования (процессоры x86, Apple silicon, видеокарты Nvidia, AMD и Intel) macOS, Windows, Linux и Docker
Лицензия программы MIT MIT
Интерфейс командная строка и сервер командная строка и локальный API

Согласно README, llama.cpp стремится обеспечить запуск «с минимальной настройкой» на широком круге оборудования и поддерживает квантование от 1,5 до 8 бит. В README Ollama сказано, что модель можно запустить локально, а API доступен на порту 11434 этого компьютера. Эти страницы подтверждают, что это технически возможно; они ничего не говорят ни о качестве ответов для вашей работы, ни о законности конкретного применения.

Какой компьютер нужен?

Модель — это большой файл с числами. Квантование снижает точность каждого числа, чтобы файл стал меньше. В документации Hugging Face по формату GGUF для каждого типа указано число бит на вес: около 4,5 для Q4_K, 6,56 для Q6_K, 16 для F16.

Простой расчёт даёт примерное представление о размере файла (число параметров × бит на вес ÷ 8). Это наш расчёт по этим таблицам, а не измерение:

Модель В F16 В Q4_K
7 миллиардов параметров около 14 ГБ около 3,9 ГБ
14 миллиардов параметров около 28 ГБ около 7,9 ГБ

Реально используемая память больше размера файла: она зависит ещё от длины контекста, движка и настроек. Качество при более сильном квантовании тоже падает, насколько именно, зависит от модели и задачи. Эти цифры нужны, чтобы отсеять заведомо невозможные случаи, а не чтобы подбирать покупку: сначала проверьте на компьютере, который у вас уже есть.

Нужна ли локальная LLM? Семь вопросов

Задавайте их про конкретную задачу, а не про «ИИ» вообще.

Вопрос Если ответ… То
1. Какие данные должна читать модель? персональные или конфиденциальные локальный вариант стоит изучить всерьёз
2. Хватило бы онлайн-сервиса, если тексты без чувствительных данных? да локальная модель не нужна
3. Какое качество вам нужно? тонкий текст, длинные рассуждения сначала проверьте: небольшие модели иногда разочаровывают
4. Сколько человек будут ею пользоваться? несколько, одновременно планируйте сервер, а не один компьютер
5. Кто устанавливает, обновляет и чинит? никто не начинайте
6. Кто проверяет ответы перед использованием? никто не начинайте
7. Как вы узнаете, что это работает? критерия нет напишите двадцать реальных вопросов и ожидаемые ответы

Если на вопрос 1 вы отвечаете «нет», а на вопрос 2 «да», онлайн-сервис, скорее всего, проще. Если на вопросы 5, 6 и 7 ответа нет, проект не готов, какое бы ни было оборудование.

Что говорят CNIL и GDPR?

Двух пунктов достаточно, чтобы решить, стоит ли рассматривать локальный вариант.

  • Рекомендация CNIL в своём контексте. На странице о внедрении генеративного ИИ CNIL рекомендует отдавать предпочтение «локальным, защищённым и специализированным системам» (наш перевод с французского). Эта страница даёт первые ответы о внедрении; она не описывает, чего требует размещение на своей площадке, не перечисляет меры безопасности и не затрагивает разработку и обучение моделей.

  • Безопасность независимо от места запуска. Статья 32 GDPR требует от оператора принять технические и организационные меры, соразмерные риску. Она не требует локальной обработки, а локальная обработка не заменяет этих мер: именные доступы, журналы, резервные копии, срок хранения.

Эти страницы охватывают не все случаи. Если речь о данных о здоровье, клиентов или сотрудников, определите цель и правовое основание вместе с ответственным за защиту данных или юристом, прежде чем что-либо запускать.

Как выглядит разумная первая проверка?

Вот вымышленный пример, без реального клиента. Компания хочет делать краткие итоги внутренних протоколов встреч. Вместо покупки оборудования она действует так:

  1. Собирает тестовый набор. Двадцать вымышленных или обезличенных протоколов, к каждому человек пишет итог, какой ожидает.
  2. Ставит небольшую модель на уже имеющийся компьютер одним из перечисленных инструментов, без подключения к сети, если ограничение жёсткое.
  3. Сравнивает. Отмечает пропуски, ошибки в числах и именах и время ответа. То же самое делает с онлайн-сервисом, которым пользуется сейчас.
  4. Решает только потом, по результатам: остаться на онлайн-сервисе, взять модель побольше локально или ничего не менять.

Это иллюстрация метода, а не измеренный результат. Реальные различия зависят от модели, языка, компьютера и документов.

Человек сверяет два варианта ответа с исходным документом и отмечает расхождение синим карандашом.
Иллюстрация предложенной проверки: сверяйте пропуски, имена, цифры и время ответа. Здесь нет измеренных результатов или модели-победителя.

Каковы ограничения локальной LLM?

  • Качество не гарантировано. Модели, которые можно запустить на компьютере, часто меньше самых больших онлайн-моделей. Ошибки, пропуски и неверные ответы, высказанные уверенным тоном, остаются возможными: нужна проверка человеком.

  • Нужны оборудование и сопровождение. Память, возможно видеокарта, обновления инструментов и моделей и тот, кто будет разбираться с неполадками. Локальное не всегда бесплатно: оборудование, электричество и время тоже стоят денег.

  • Лицензии моделей различаются. Лицензия движка ничего не говорит о весах; некоторые ограничивают коммерческое использование.

  • Локальность — не справка о соответствии. Она снижает один риск (отправку данных третьей стороне), но не заменяет информирование людей, безопасность и совет ответственного за защиту данных.

  • Общий доступ усложняет задачу. Модель на личном компьютере нельзя сделать общей без настройки сети, прав доступа и защиты.

Как Castel Studio работает с локальным ИИ

На странице «Свой ИИ» собраны наши предложения, среди них расшифровка встреч без облака от 90 € за пакет (место обработки, доступы и сроки хранения согласуются до отправки файлов), помощник, который знает ваш бизнес, от 790 € и рабочая станция под ваши задачи по письменной смете. Размещение, оплата модели или API, электричество и сопровождение согласуются отдельно; мы договариваемся о проверках в письменном виде и результат не гарантируем.

Чтобы сравнить варианты перед выбором, прочитайте наше руководство по приватному ИИ для бизнеса, где собраны десять вопросов к поставщику. Если вам нужно скорее автоматизировать задачу, посмотрите также статьи об ИИ-агентах для малого бизнеса и о счетах из PDF в Excel.

Опишите в нескольких строках задачу, тип документов и имеющееся оборудование, не прикладывая чувствительные файлы через форму. Мы ответим письменно в течение 48 часов, в том числе если скажем, что в вашем случае хватит онлайн-сервиса.

Вопросы

Что такое локальная LLM?

Языковая модель, веса которой скачаны и запускаются на вашем собственном оборудовании. Чтобы слово «локальная» было точным, локальной должна быть вся цепочка: без внешнего API, без отката в облако, без телеметрии и автоматической синхронизации папок. Одной установки программы на компьютер для этого недостаточно.

Соответствует ли локальная LLM требованиям GDPR?

Не автоматически. Хранение данных на своих машинах избавляет от отправки их стороннему поставщику, но цель обработки, информирование людей, доступы, сроки хранения и безопасность всё равно нужно оформить. GDPR не требует локальной обработки: он требует мер, соразмерных риску.

Какой компьютер нужен для локальной LLM?

Это зависит от модели, степени квантования и длины контекста. Как порядок величины: модель на 7 миллиардов параметров с квантованием около 4,5 бита на вес занимает файл примерно в 4 ГБ, а реально используемой памяти нужно больше. Проверьте на своём оборудовании, прежде чем что-то покупать.

Сравнится ли локальная модель с ChatGPT или Claude?

Общего ответа нет. Модели, которые может запустить малый бизнес, часто меньше самых крупных онлайн-моделей. Проверьте на двадцати реальных вопросах из вашей работы и сравните с инструментом, которым пользуетесь сейчас.

Сколько стоит настроить локальный ИИ?

В Castel Studio на странице «Свой ИИ» есть предложения от 90 € (расшифровка без облака, за пакет) и помощник по вашим документам от 790 €. Рабочая станция считается по письменной смете. Оборудование, электричество, сопровождение и время на проверку оплачиваются отдельно.

Контакты

Этот ящик читает один человек — тот же, кто делает то, что вы заказываете.

Опишите задачу

Напишите, что у вас есть и какой результат нужен, — даже если это одна небольшая задача. Техзадание не нужно: в течение 48 часов пришлём план и цену письменно, уточняющий вопрос или честно скажем, что задача не наша.

Укажите ситуацию, файлы или ссылки, срок, язык, границы приватности и бюджет, если он есть.

Файл (по желанию)
Файл не выбран

Бриф, фотография, таблица — то, что объяснит задачу быстрее слов. До 8 МБ, хранится у нашего хостинг-провайдера. Пожалуйста, не отправляйте через сайт чувствительные личные или медицинские документы.

Отправка заявки не создаёт заказ и не требует оплаты. Отвечаем в течение 48 часов. Удобнее email? contact@castel.studio

Поговорить с нами

Удобнее голосом или в мессенджере? Пишите и звоните — отвечает основатель студии.

Связаться в LinkedIn

Телефон · WhatsApp · Telegram

Франция+33 7 49 57 41 69WhatsAppTelegram

Украина+38 063 95 77 111WhatsAppTelegram

Удобнее через площадку?

Ту же работу можно заказать там — с безопасной оплатой площадки.

Соло-студия ИИ-систем в Ницце. Кто отвечает на ваше сообщение, тот и делает работу — без менеджеров-посредников. Файлы обрабатываются на нашей машине, а не в чужом облаке.

Ницца 06100, Франция · Открыть на карте →

SIREN 103 115 705

Опишите задачу