Усі статті

Локальна LLM для малого бізнесу: 7 питань перед установкою

Коротко. Локальна LLM для малого бізнесу — це мовна модель, яка повністю працює на вашому обладнанні й не звертається до зовнішніх сервісів. Це зменшує один ризик, але не вирішує ні питання якості відповідей, ні безпеки, ні GDPR. У статті сім питань, які варто поставити перед установкою, та орієнтовні розміри моделей.

Олівцево-акварельний рисунок: підприємиця працює з помічником на комп’ютері; поруч робоча станція та документи проєкту.
Вигаданий офіс. Локальну обробку перевіряють на всіх етапах; рисунок не підтверджує безпеку чи відповідність вимогам.

Вираз «локальна LLM» став звичним, але за ним ховаються дуже різні ситуації: безкоштовна програма на ноутбуці, сервер у технічному приміщенні або просто онлайн-сервіс, який назвали приватним. Ця стаття допомагає власнику малого бізнесу вирішити, чи потрібна йому така модель і на яких умовах її варто спробувати. Вона спирається на сторінки проєктів llama.cpp та Ollama, документацію Hugging Face, одну сторінку CNIL і статтю 32 GDPR, прочитані 29 жовтня 2026 року.

Що таке локальна LLM?

LLM (велика мовна модель) — це програма, що створює текст за запитом. Вона має дві частини: рушій, який її запускає, і файл «ваг», у якому зберігається навчена модель. Запустити LLM локально означає завантажити ці ваги й виконувати їх на своєму обладнанні.

Тут локальним названо весь ланцюжок: без зовнішнього API, без автоматичного відкату в хмару, без телеметрії, без синхронізації тек зі сторонньою службою. Перевірте також місця зберігання резервних копій. Програма, встановлена на комп’ютері, але підключена до онлайн-сервісу, у розумінні цієї статті не локальна.

Зауваження про терміни: моделі часто називають «з відкритим кодом», хоча в багатьох відкриті лише ваги. Ліцензія рушія й ліцензія моделі — різні речі. Проєкти llama.cpp та Ollama поширюються за ліцензією MIT, але вона нічого не говорить про ліцензію моделі, яку ви завантажите: читайте її для кожної моделі окремо, особливо за комерційного використання.

Чим запускати модель?

llama.cpp Ollama
Роль рушій для запуску моделі програма, що завантажує й запускає моделі
Системи широке коло обладнання (процесори x86, Apple silicon, відеокарти Nvidia, AMD та Intel) macOS, Windows, Linux і Docker
Ліцензія програми MIT MIT
Інтерфейс командний рядок і сервер командний рядок і локальний API

Згідно з README, llama.cpp прагне забезпечити запуск «з мінімальним налаштуванням» на широкому колі обладнання й підтримує квантування від 1,5 до 8 біт. У README Ollama сказано, що модель можна запустити локально, а API доступний на порту 11434 цього комп’ютера. Ці сторінки підтверджують, що це технічно можливо; вони нічого не кажуть ні про якість відповідей для вашої роботи, ні про законність конкретного застосування.

Який комп’ютер потрібен?

Модель — це великий файл із числами. Квантування знижує точність кожного числа, щоб файл став меншим. У документації Hugging Face щодо формату GGUF для кожного типу вказано кількість біт на вагу: близько 4,5 для Q4_K, 6,56 для Q6_K, 16 для F16.

Простий розрахунок дає приблизне уявлення про розмір файлу (кількість параметрів × біт на вагу ÷ 8). Це наш розрахунок за цими таблицями, а не вимірювання:

Модель У F16 У Q4_K
7 мільярдів параметрів близько 14 ГБ близько 3,9 ГБ
14 мільярдів параметрів близько 28 ГБ близько 7,9 ГБ

Пам’ять, яку реально використовують, більша за розмір файлу: вона залежить ще від довжини контексту, рушія й налаштувань. Якість за сильнішого квантування також падає, наскільки саме, залежить від моделі та завдання. Ці цифри потрібні, щоб відсіяти заздалегідь неможливі випадки, а не щоб добирати покупку: спершу перевірте на комп’ютері, який у вас уже є.

Чи потрібна локальна LLM? Сім питань

Ставте їх щодо конкретного завдання, а не щодо «ШІ» загалом.

Питання Якщо відповідь… То
1. Які дані має читати модель? персональні або конфіденційні локальний варіант варто вивчити серйозно
2. Чи вистачило б онлайн-сервісу, якщо тексти без чутливих даних? так локальна модель не потрібна
3. Яка якість вам потрібна? тонкий текст, довгі міркування спершу перевірте: невеликі моделі іноді розчаровують
4. Скільки людей нею користуватимуться? кілька, одночасно плануйте сервер, а не один комп’ютер
5. Хто встановлює, оновлює й лагодить? ніхто не починайте
6. Хто перевіряє відповіді перед використанням? ніхто не починайте
7. Як ви дізнаєтеся, що це працює? критерію немає напишіть двадцять реальних питань і очікувані відповіді

Якщо на питання 1 ви відповідаєте «ні», а на питання 2 «так», онлайн-сервіс, імовірно, простіший. Якщо на питання 5, 6 і 7 відповіді немає, проєкт не готовий, яким би не було обладнання.

Що кажуть CNIL і GDPR?

Двох пунктів досить, щоб вирішити, чи варто розглядати локальний варіант.

  • Рекомендація CNIL у своєму контексті. На сторінці про впровадження генеративного ШІ CNIL радить віддавати перевагу «локальним, захищеним і спеціалізованим системам» (наш переклад із французької). Ця сторінка дає перші відповіді про впровадження; вона не описує, чого вимагає розміщення на власному майданчику, не перелічує заходи безпеки й не стосується розроблення та навчання моделей.

  • Безпека незалежно від місця запуску. Стаття 32 GDPR вимагає від оператора вжити технічних і організаційних заходів, співмірних з ризиком. Вона не вимагає локальної обробки, а локальна обробка не замінює цих заходів: іменні доступи, журнали, резервні копії, строк зберігання.

Ці сторінки охоплюють не всі випадки. Якщо йдеться про дані про здоров’я, клієнтів чи працівників, визначте мету та правову підставу разом із відповідальним за захист даних або юристом, перш ніж щось запускати.

Як виглядає розумна перша перевірка?

Ось вигаданий приклад, без реального клієнта. Компанія хоче робити короткі підсумки внутрішніх протоколів зустрічей. Замість купівлі обладнання вона діє так:

  1. Збирає тестовий набір. Двадцять вигаданих або знеособлених протоколів, до кожного людина пише підсумок, якого очікує.
  2. Встановлює невелику модель на наявний комп’ютер одним із перелічених інструментів, без підключення до мережі, якщо обмеження жорстке.
  3. Порівнює. Відзначає пропуски, помилки в числах та іменах і час відповіді. Те саме робить з онлайн-сервісом, яким користується нині.
  4. Вирішує лише потім, за результатами: лишитися на онлайн-сервісі, взяти більшу модель локально або нічого не змінювати.

Це ілюстрація методу, а не виміряний результат. Реальні відмінності залежать від моделі, мови, комп’ютера й документів.

Людина звіряє два варіанти відповіді з вихідним документом і позначає розбіжність синім олівцем.
Ілюстрація запропонованої перевірки: звіряйте пропуски, імена, цифри й час відповіді. Тут немає виміряних результатів або моделі-переможця.

Які обмеження має локальна LLM?

  • Якість не гарантована. Моделі, які можна запустити на комп’ютері, часто менші за найбільші онлайн-моделі. Помилки, пропуски й неправильні відповіді, сказані впевненим тоном, залишаються можливими: потрібна перевірка людиною.

  • Потрібні обладнання та супровід. Пам’ять, можливо відеокарта, оновлення інструментів і моделей та той, хто розбиратиметься з несправностями. Локальне не завжди безкоштовне: обладнання, електроенергія й час теж коштують грошей.

  • Ліцензії моделей різняться. Ліцензія рушія нічого не говорить про ваги; деякі обмежують комерційне використання.

  • Локальність — не довідка про відповідність. Вона зменшує один ризик (передавання даних третій стороні), але не замінює інформування людей, безпеку та пораду відповідального за захист даних.

  • Спільний доступ ускладнює завдання. Модель на особистому комп’ютері не можна зробити спільною без налаштування мережі, прав доступу та захисту.

Як Castel Studio працює з локальним ШІ

На сторінці «Свій ШІ» зібрано наші пропозиції, серед них розшифрування зустрічей без хмари від 90 € за пакет (місце обробки, доступи та строки зберігання узгоджуються до надсилання файлів), помічник, який знає ваш бізнес, від 790 € і робоча станція під ваші завдання за письмовим кошторисом. Розміщення, оплата моделі чи API, електроенергія та супровід узгоджуються окремо; про перевірки ми домовляємося письмово, а результат не гарантуємо.

Щоб порівняти варіанти перед вибором, прочитайте наш посібник про приватний ШІ для бізнесу, де зібрано десять питань до постачальника. Якщо вам потрібно радше автоматизувати завдання, перегляньте також статті про ШІ-агентів для малого бізнесу та про рахунки з PDF в Excel.

Опишіть у кількох рядках завдання, тип документів і наявне обладнання, не додаючи чутливих файлів через форму. Ми відповімо письмово протягом 48 годин, зокрема й якщо скажемо, що у вашому випадку вистачить онлайн-сервісу.

Запитання

Що таке локальна LLM?

Мовна модель, ваги якої завантажено й запущено на вашому власному обладнанні. Щоб слово «локальна» було точним, локальним має бути весь ланцюжок: без зовнішнього API, без відкату в хмару, без телеметрії та автоматичної синхронізації тек. Самого лише встановлення програми на комп'ютер для цього недостатньо.

Чи відповідає локальна LLM вимогам GDPR?

Не автоматично. Зберігання даних на своїх машинах позбавляє потреби передавати їх стороннім постачальникам, але мета обробки, інформування людей, доступи, строки зберігання й безпека все одно потребують оформлення. GDPR не вимагає локальної обробки: він вимагає заходів, співмірних з ризиком.

Який комп'ютер потрібен для локальної LLM?

Це залежить від моделі, ступеня квантування й довжини контексту. Як порядок величини: модель на 7 мільярдів параметрів із квантуванням близько 4,5 біта на вагу займає файл приблизно в 4 ГБ, а пам'яті, яку реально використовують, потрібно більше. Перевірте на своєму обладнанні, перш ніж щось купувати.

Чи зрівняється локальна модель із ChatGPT або Claude?

Загальної відповіді немає. Моделі, які може запустити малий бізнес, часто менші за найбільші онлайн-моделі. Перевірте на двадцяти реальних питаннях із вашої роботи та порівняйте з інструментом, яким користуєтеся нині.

Скільки коштує налаштувати локальний ШІ?

У Castel Studio на сторінці «Свій ШІ» є пропозиції від 90 € (розшифрування без хмари, за пакет) і помічник за вашими документами від 790 €. Робоча станція розраховується за письмовим кошторисом. Обладнання, електроенергія, супровід і час на перевірку оплачуються окремо.

Контакти

Цю скриньку читає одна людина — та сама, що робить те, що ви замовляєте.

Опишіть завдання

Напишіть, що у вас є і який результат потрібен, — навіть якщо це одне невелике завдання. Техзавдання не потрібне: протягом 48 годин надішлемо план і ціну письмово, уточнювальне запитання або чесно скажемо, що завдання не наше.

Вкажіть ситуацію, файли або посилання, строк, мову, межі приватності і бюджет, якщо він є.

Файл (за бажанням)
Файл не вибрано

Бриф, фотографія, таблиця — те, що пояснить завдання швидше за слова. До 8 МБ, зберігається у нашого хостинг-провайдера. Будь ласка, не надсилайте через сайт чутливі особисті чи медичні документи.

Надсилання заявки не створює замовлення і не вимагає оплати. Відповідаємо протягом 48 годин. Зручніше email? contact@castel.studio

Поговорити з нами

Зручніше голосом чи в месенджері? Пишіть і дзвоніть — відповідає засновник студії.

Зв'язатися в LinkedIn

Телефон · WhatsApp · Telegram

Франція+33 7 49 57 41 69WhatsAppTelegram

Україна+38 063 95 77 111WhatsAppTelegram

Зручніше через платформу?

Ту саму роботу можна замовити там — з безпечною оплатою платформи.

Соло-студія ШІ-систем у Ніцці. Хто відповідає на ваше повідомлення, той і робить роботу — без менеджерів-посередників. Файли обробляються на нашій машині, а не в чужій хмарі.

Ніцца 06100, Франція · Відкрити на карті →

SIREN 103 115 705

Опишіть завдання