Prompt injection: прямая и косвенная
Проверяем, можно ли заставить ИИ нарушить инструкции: через сообщение, письмо, файл, страницу сайта или ответ подключённого инструмента.
Локальное развёртывание ИИ на архитектуре заказчикаЛюбая кастомизация и доработка бота
Безопасность ИИ
Аудит безопасности ИИ-систем и ИИ-агентов: prompt injection, утечки данных, права доступа
Проверяем чат-ботов, RAG-системы и ИИ-агентов: пытаемся заставить систему выдать лишнее или сделать то, что ей делать нельзя, — раньше, чем это сделает посторонний. Каркас проверки — OWASP Top 10 для LLM-приложений. На выходе отчёт с воспроизводимыми атаками, приоритетами и планом исправлений. Если у агента есть доступ к 1С, почте или документам, проверку лучше провести до запуска; как строится такой доступ, разобрано в статье про MCP-сервер для 1С.
по расчёту
смета после короткого брифа
после брифа
срок называем после разбора системы, а не до него
- По OWASP Top 10 для LLM
- Воспроизводимые атаки в отчёте
- Проверка в вашем контуре
Что вы получаете
Утечки данных и системных промптов
Ищем, что ИИ может выдать посторонним: персональные данные, внутренние документы, настройки и ключи из системного промпта.
Права ИИ-агента
Смотрим, какие вызовы доступны агенту в 1С, CRM и почте, где нужно подтверждение человека и можно ли дойти до операций, которые агенту не положены.
Изоляция данных в RAG
Проверяем, что ИИ не отвечает документами, которые пользователю видеть нельзя, и что подмешанный в базу текст не меняет поведение системы.
Отчёт, который можно воспроизвести
Для каждой находки: сценарий атаки, ответ системы, важность и что исправить. Команда разработки повторит проверку сама.
Повторная проверка и набор тестов
После исправлений прогоняем те же атаки. Набор остаётся у вас: его запускают перед каждым релизом.
01 / 05
Что проверяем в ИИ-системе
ИИ-систему проверяют не как сайт, а как участника, которому можно написать. Нас интересует, что она сделает, если ей скажут не то, что ожидали: подменят инструкцию, спрячут команду в документе или попросят показать то, что показывать нельзя.
- Prompt injection — прямая (в сообщении пользователя) и косвенная (в письме, файле, странице сайта или ответе инструмента).
- Утечки данных — персональные данные, внутренние документы, системный промпт и ключи, которые модель может выдать в ответе.
- Избыточные права агента — какие действия доступны инструментам и где нужно подтверждение человека.
- Изоляция данных в RAG — не видит ли пользователь документы, которые ему недоступны, и не меняет ли подмешанный в базу текст поведение системы.
- Небезопасная обработка ответа — что происходит с ответом модели дальше: ссылки, разметка, код, вызовы интеграций.
- Цепочка поставки — модели, плагины и MCP-серверы, подключённые к системе, и откуда они взялись.
- Лимиты и журналы — можно ли разорить систему запросами и остаётся ли след для разбора инцидента.
02 / 05
Чем аудит безопасности ИИ отличается от пентеста сайта
Пентест сайта и серверов нужен, но он не отвечает на вопрос, что ваш ИИ-ассистент выдаст по хитрому запросу. Эти проверки дополняют друг друга, а не заменяют.
| Подход | Что проверяет | Что не покрывает |
|---|---|---|
| Пентест сайта и инфраструктуры | Сеть, веб-приложение, серверы, конфигурации | Не проверяет, что ИИ скажет и сделает по подсказке в тексте: prompt injection, утечки через ответ, права инструментов |
| Аудит безопасности ИИ (эта услуга) | Поведение модели и обвязки: инструкции, данные, инструменты, RAG, журналы | Не заменяет пентест инфраструктуры и аттестацию информационной системы |
| Защитный слой: ИИ-шлюз и правила доступа | Маскирует и фильтрует то, что проходит через шлюз; ведёт журнал | Не находит дыры в логике агента, сам нуждается в проверке |
03 / 05
Что получаете на выходе
Результат — документ, с которым работают команда разработки и служба ИБ, а не общее заключение «рекомендуем усилить защиту».
- Отчёт с находками: сценарий атаки, ответ системы, важность и что исправить.
- План исправлений по приоритету: сначала то, что открывает данные или действия агента.
- Набор тестов, который остаётся у вас: его можно запускать перед каждым релизом.
- Рекомендации по защитным слоям: права и подтверждения, фильтры, ИИ-шлюз, журналы.
- Повторная проверка после исправлений.
04 / 05
Кому и когда нужна проверка
Чаще всего к нам приходят до запуска бота для клиентов и после того, как агенту дали доступ к рабочим системам. Если вы только выбираете, что строить, начните со страницы про разработку ИИ-агентов: проверку удобно заложить в проект с самого начала.
- Перед запуском чат-бота или ассистента, которому пишут клиенты.
- Когда агенту дают доступ к 1С, CRM, почте или документам.
- После смены модели, промпта, инструментов или базы знаний.
- Когда заказчик или служба ИБ просит подтвердить, что риски ИИ проверены.
05 / 05
Границы услуги
Проверка оценивает поведение и настройку ИИ-системы. Мы не выдаём аттестатов и не подменяем юриста: аттестация информационных систем и сертификация средств защиты — отдельные работы, часть которых лицензируется. В эту услугу они не входят.
Проверяем только системы, на которые есть письменное разрешение владельца. Боевые данные в тестах не используем, если вы не решили иначе. Результаты остаются у вас: отчёт проходит под NDA и нигде не публикуется. Если нужен ИИ в закрытом контуре без исходящих соединений, посмотрите страницу про локальный ИИ.
Как проходит проект
Типовой порядок работ:
- 1
Бриф и границы
Что проверяем, в каком окружении и кто даёт разрешение.
- 2
Модель угроз ИИ-системы
Данные, инструменты, права и каналы ввода: откуда может прийти чужая инструкция.
- 3
Набор атак
Типовые и ручные сценарии под вашу систему, каркас — OWASP Top 10 для LLM.
- 4
Проверка и фиксация
Запускаем атаки, записываем ответы системы, оцениваем важность.
- 5
Отчёт и план исправлений
Разбираем находки с командой и договариваемся о приоритетах.
- 6
Повторная проверка
Прогоняем тот же набор после исправлений; набор остаётся у вас.
Цены и сроки
Смета — после короткого брифа
Цена зависит от числа ИИ-систем, подключённых инструментов и источников данных, поэтому называем её после брифа, а не до него. Ниже — три формата работы; объём подбираем под вашу систему. Если проверка выявит, что защиту нужно строить заново, это отдельный проект: от разработки агента до ИИ-шлюза.
Экспресс-проверка
по расчёту
один бот или один ИИ-агент
Быстрая оценка перед запуском: самые вероятные риски по OWASP Top 10 для LLM.
- Модель угроз для одной системы
- Набор типовых атак
- Краткий отчёт с приоритетами
- Разбор результатов на встрече
Комплексный аудит
по расчёту
несколько систем или агент с инструментами
Для систем с доступом к 1С, CRM, почте и документам, где важны права и изоляция данных.
- Всё из экспресс-проверки
- Ручные сценарии под ваши данные и роли
- Проверка прав инструментов, MCP и RAG
- Подробный отчёт и план исправлений
- Повторная проверка после правок
Регулярная проверка
по расчёту
перед релизами или раз в квартал
Для систем, которые часто меняются: новые инструменты, модели, базы знаний.
- Набор тестов на каждый релиз
- Проверка после смены модели или инструментов
- Журнал найденного и исправленного
- Консультации команде разработки
Кейсы
Публичных кейсов по аудиту безопасности ИИ пока нет: такие проверки проходят под NDA. Примеры ИИ-систем, которые мы разрабатываем и разворачиваем в контуре заказчика, — в разделе кейсов.
Опишите ИИ-систему: что она делает, к каким данным и системам подключена, на какой модели работает. Предложим формат проверки, а смету и срок назовём после разбора.
Смежные услуги
Локальный ИИ on-premise
Локальная нейросеть и LLM на вашем сервере — без передачи данных в облако, 152-ФЗ.
ПодробнееРазработка ИИ-агентов
ИИ-агенты и ассистенты для бизнеса: 1С, CRM и закрытый контур, под ключ.
ПодробнееРазработка чат-ботов
Сценарные боты для Telegram, MAX, WhatsApp и сайта: заявки, CRM, 1С и оплата.
ПодробнееАвтоматизация бизнес-процессов с ИИ
Аудит процессов, документооборот, внедрение и измеримая экономия на заявках и отчётах.
ПодробнееВсе услуги целиком — на странице «Услуги».
Частые вопросы
Что такое аудит безопасности ИИ и чем он отличается от пентеста?
Пентест проверяет сайт, сеть и серверы. Аудит безопасности ИИ проверяет саму ИИ-систему: что модель сделает по подсказке в тексте, какие данные она может выдать и что способен сделать агент с подключёнными инструментами. Это разные риски: классический пентест не находит prompt injection и утечки через ответ модели. Проверки дополняют друг друга.
Какие системы вы проверяете?
Чат-ботов для клиентов и сотрудников, RAG-системы по базе знаний, ИИ-агентов с доступом к 1С, CRM, почте и документам, MCP-серверы и внутренние ассистенты. Система может быть нашей разработки или сделана другим подрядчиком: в отчёте это указывается.
Что такое prompt injection и можно ли полностью от неё защититься?
Prompt injection — это когда в текст, который читает ИИ, подмешана чужая инструкция: в сообщение пользователя, письмо, файл или страницу сайта. Модель может выполнить её вместо вашей. Полной защиты не существует, поэтому риск снижают слоями: минимальные права у инструментов агента, подтверждение человеком опасных действий, разделение инструкций и чужого текста, фильтры на входе и выходе, журнал. Аудит показывает, какие из этих слоёв в вашей системе работают.
Чем услуга отличается от «Локального ИИ» и «Разработки ИИ-агентов»?
Те услуги — построить и развернуть систему. Эта — проверить уже построенную: нашу или чужую, до запуска или после. Если по результатам нужно перестроить права агента, архитектуру или перенести модель в свой контур, это отдельные работы на страницах про ИИ-агентов и локальный ИИ.
Чем аудит отличается от статьи про Shadow AI и от ИИ-шлюза?
Shadow AI — про сотрудников, которые отправляют данные в публичные сервисы; он решается политикой, обучением и шлюзом. Аудит — про вашу собственную ИИ-систему: бота, RAG или агента. ИИ-шлюз — защитный слой, который можно поставить по итогам аудита; сам он тоже проверяется.
Нужен ли доступ к боевым данным и исходному коду?
Нет. Начинаем с тестового окружения и описания архитектуры. Доступ к коду нужен только для расширенной проверки и согласуется отдельно. Если проверка идёт на рабочей системе, это фиксируется в договоре, а набор сценариев ограничивается согласованным.
Подходит ли отчёт для службы ИБ или заказчика?
Отчёт можно приложить к документам по системе: он показывает, какие риски проверены и как закрыты. Это не аттестация информационной системы, не сертификация средств защиты и не юридическое заключение о 152-ФЗ: такие работы выполняются отдельно, и часть из них лицензируется.
Можно ли проверить чужую систему или сторонний ИИ-сервис?
Только с письменного разрешения владельца системы. Для сторонних сервисов согласуем набор атак с правилами провайдера; если правила такие проверки запрещают, проверяем только вашу настройку и интеграцию.
Сколько стоит аудит и сколько он занимает?
Цена зависит от числа ИИ-систем, подключённых инструментов и источников данных. Смету и срок называем после короткого брифа, а не до него. Экспресс-проверка одного бота или агента занимает меньше времени, чем комплексный аудит нескольких систем с ручными сценариями.