Дообучение LLM под задачи бизнеса: fine-tuning, LoRA и план внедрения

Дообучение LLM (fine-tuning больших языковых моделей) в российских условиях — это не только выбор архитектуры и гиперпараметров. Нужно одновременно учитывать локализацию данных по 152-ФЗ, санкционные ограничения на GPU, лицензии открытых моделей, качество русскоязычных корпусов и стоимость PEFT-методов вроде LoRA и QLoRA.

Ниже — практическое исполнительное резюме для руководителей и ML-команд: право, инфраструктура, датасеты, модели, методы дообучения, оценка качества, кейсы, риски и поэтапный план внедрения корпоративного LLM на инфраструктуре в РФ.

• Данные в России. ФЗ-152 и уточнения по трансграничной передаче персональных данных требуют обрабатывать пользовательские тексты (промпты, логи, обучающие выборки) на серверах в РФ — в отечественном облаке или on-prem.
• Авторское право. Дообучение на легально полученных текстах, как правило, допустимо, если правообладатель не закрыл данные от анализа. Лицензии корпусов всё равно нужно проверять.
• GPU и санкции. Поставки топовых NVIDIA H100/A100 и AMD MI250 ограничены. На практике используют V100, T4, A40, доступные A100 в российских облаках и методы экономии памяти (LoRA/QLoRA).
• Данные для русского. Есть открытые корпуса (Википедия, Taiga, Librusec, Common Crawl, OpenSubtitles), QA-наборы вроде SberQuAD (~50K) и очищенные промпты LLM Arena (~78K).
• Модели. Для старта чаще берут открытые 7–13B (Mistral, Falcon, ruGPT, мультилингвальные Llama/Qwen-ветки с MIT/Apache) и PEFT, а не полное обучение 70B+.
• Методы. Full fine-tuning даёт максимум, но дорог. LoRA меняет ~0,01–1% весов; QLoRA позволяет адаптировать десятки миллиардов параметров на GPU ~48 ГБ.
• Конвейер. Сбор и очистка данных → выбор модели и лицензии → SFT/PEFT → оценка (метрики + бизнес-кейсы) → развёртывание и мониторинг. Удобная рамка — цикл Enterprise AI Flywheel.

Закон о персональных данных обязывает хранить и обрабатывать ПДн граждан РФ на территории страны. С ужесточением правил трансграничной передачи это напрямую влияет на fine-tuning: диалоги, тикеты поддержки и внутренние документы нельзя «скармливать» зарубежным API без юридической оценки.

Проекты регулирования ИИ вводят категории «суверенных» и «национальных» моделей с требованием обрабатывать запросы и хранить данные внутри РФ. Для бизнеса это значит: даже при использовании зарубежной базы модель-сервис должен работать через российскую инфраструктуру.

По авторскому праву обучение на открытых новостях и веб-страницах обычно допустимо, но закрытые базы, платный контент без лицензии и неанонимизированные ПДн — зона риска. Отдельно учитывают экспортные ограничения на закрытые AI-модели и современные ускорители: открытые лицензии (MIT/Apache) остаются рабочим путём, а «под ключ» GPT-4-класс через западные API — нет.

Российские облака (Yandex Cloud, SberCloud, Selectel, MTS Cloud, VK Cloud) предлагают GPU предыдущих поколений и акцентируют размещение данных в дата-центрах РФ. On-prem возможен, но импорт свежих карт затруднён; отечественные CPU (Baikal, Эльбрус) для крупных LLM пока не закрывают потребность.

Ориентиры по стоимости (порядок величин): аренда A100 в облаке — сотни рублей в час; L40S на рынке РФ — сотни тысяч рублей за карту. Неделя обучения 30B на 4–8 GPU легко уходит в сотни тысяч рублей. Поэтому для среднего бизнеса критичны PEFT и квантизация, а не «полный» FT 70B.

Практика: QLoRA позволяет уместить крупные модели на GPU с ~48 ГБ памяти; LoRA снижает требования к памяти в десятки раз относительно полного обновления весов. Для кластера важны InfiniBand/быстрый Ethernet и воспроизводимое окружение (Docker, Git, фиксированные версии PyTorch/Transformers).

Качество данных определяет успех fine-tuning сильнее «магии» архитектуры. Базовые открытые источники:

• Русская Википедия — ~14 ГБ очищенного текста, факты и энциклопедический стиль;
• Taiga — новости и веб (десятки–сотни ГБ после очистки);
• Librusec — художественная и техническая литература (нужна фильтрация качества OCR);
• OpenSubtitles / параллельные корпуса — диалоги и перевод;
• Common Crawl / OSCAR / CC100 — русскоязычный веб после дедупликации;
• SberQuAD — ~50 000 троек «параграф–вопрос–ответ» для QA;
• LLM Arena prompts — ~78K реальных запросов после очистки от дублей и ПДн;
• Russian SuperGLUE, RuSentiment, FactRuEval — для специализированной оценки и узкого SFT.

Корпоративные датасеты (регламенты, FAQ, тикеты, договоры) дают максимум бизнес-эффекта, но требуют анонимизации и политики доступа. Синтетика (перевод англоязычных инструкций, генерация пар вопрос–ответ) ускоряет набор данных, но качество зависит от учительской модели и обязательной человеческой вычитки критичных примеров.

По оценкам исследований русскоязычных LLM, корпуса для претрейна/адаптации лежат в диапазоне примерно от десятков до сотен гигабайт текста — объёма достаточно для прикладных задач, если вычистить токсичность, дубли и ПДн.

Для среднего бизнеса разумная стартовая точка — открытая модель 7–13B с понятной лицензией и поддержкой кириллицы, затем LoRA/SFT под корпоративный стиль. Полностью «свои» 70B+ модели требуют капитальных затрат и редко окупаются на первом этапе.

Важно: часть «отечественных» сервисов фактически опирается на иностранные ядра (например, линии Qwen/DeepSeek). Для продукта сверяйте не только бренд API, но и лицензию, локализацию инференса и стоимость токена.

1. Full fine-tuning — обновление всех весов; максимум адаптивности, высокие GPU-затраты и риск катастрофического забывания.
2. LoRA — низкоранговые адаптеры; меняется малая доля параметров, память падает на порядки.
3. QLoRA — 4-битная база + LoRA; ещё экономнее по VRAM, обучение чуть медленнее.
4. SFT (supervised fine-tuning) — обучение на парах «инструкция–ответ» под стиль компании.
5. RLHF / DPO / RLAIF — выравнивание предпочтений; RLHF дорог по разметке, DPO проще внедрить.
6. Fine-tuning + RAG — факты из базы знаний через retrieval, стиль и формат — через FT. Часто лучший баланс для корпоративных ботов.

Схемы вроде NVIDIA NeMo описывают итеративный цикл «данные → настройка → оценка → guardrails → деплой» — Enterprise AI Flywheel.

Комбинируйте общие метрики генерации (perplexity, BLEU/ROUGE, F1) со специализированными наборами:

• Russian SuperGLUE — NLI, QA, coreference и смежные задачи;
• SberQuAD — извлечение ответов из текста;
• внутренние бизнес-кейсы: договоры, поддержка, НМЦК, протоколы встреч;
• отдельные проверки токсичности, галлюцинаций и утечки ПДн.

Для продакшена важнее не «очки на бенчмарке», а latency, доля полезных ответов и удовлетворённость пользователей на равных запросах до/после fine-tuning.

Публичных детальных отчётов мало, но картина рынка понятна: корпорации строят чат-боты и анализ документов на русскоязычных или адаптированных базах; обучение «с нуля» 70B–700B остаётся прерогативой крупных игроков с бюджетами в миллионы долларов. Среднему бизнесу выгоднее PEFT на 7–13B плюс RAG по внутренним знаниям — прирост по прикладным метрикам часто даёт 10–20% при контролируемых затратах.

Санкции и 152-ФЗ повысили ценность on-prem и российских облаков, но увеличили стоимость железа и время поставки. Это ещё один аргумент в пользу LoRA/QLoRA вместо полного FT.

1. Сформулировать задачу и KPI (точность, стиль, SLA, безопасность).
2. Собрать и очистить данные, убрать ПДн, разбить на train/val/test.
3. Выбрать базовую модель и лицензию, зафиксировать baseline без FT.
4. Подготовить GPU-окружение (облако РФ или on-prem): PyTorch, Transformers, PEFT, bitsandbytes, Accelerate/DeepSpeed.
5. Запустить SFT с LoRA/QLoRA, сохранить чекпоинты.
6. Оценить на бенчмарках и реальных запросах; при необходимости — DPO/guardrails.
7. Развернуть инференс (квантизация 8/4 бит, Triton/vLLM/TGI), API в контуре компании.
8. Мониторить дрейф, логировать ошибки, планировать retrain.

Полный цикл от PoC до пилота у команды 2–5 человек обычно занимает 2–4 месяца. Pretraining с нуля дороже fine-tuning на порядки — для большинства компаний это нецелесообразно.

• Bias и токсичность — фильтрация датасета и пост-фильтры ответов;
• Утечка секретов — анонимизация, запрет обучения на сырых ПДн, контроль доступа к весам;
• Галлюцинации — RAG, citation, NeMo-подобные guardrails, human-in-the-loop на критичных сценариях;
• Юридические риски — аудит лицензий данных и моделей, документация data governance;
• Инфраструктура — только контур РФ для чувствительных данных, сегментация сети, журнал доступа.

1. Оценить бизнес-задачу и метрики успеха.
2. Проверить 152-ФЗ, лицензии и наличие ПДн.
3. Подготовить датасет и токенизацию под русский.
4. Выбрать open-модель 7–13B (MIT/Apache).
5. Развернуть GPU в российском облаке или on-prem.
6. Собрать pipeline (HF Trainer / TRL + PEFT).
7. Обучить LoRA/SFT на пилотном наборе.
8. Прогнать тесты и собрать фидбек пользователей.
9. Запустить внутренний пилот (чат, поиск по документам).
10. Вывести в продукт с SLA и циклом обновления модели.

Команда Роботок внедряет ИИ в контуре заказчика: локальное развёртывание LLM, кастомизация ботов, интеграции с Telegram и корпоративными системами, сценарии без передачи данных во внешние облака. Если нужен закрытый контур AI или дорожная карта по внедрению ИИ — оставьте заявку на консультацию.

Материал подготовлен на основе анализа законодательства РФ, практик российских облаков и открытых исследований по русскоязычным LLM. Цифры по стоимости GPU и срокам — ориентировочные и зависят от тарифов провайдера.