Безопасность LLM API: ПДн, логи и секреты
Безопасность LLM API начинается до первого запроса. Команда должна решить, какие данные разрешено передавать модели, что удаляется до вызова, какие метаданные остаются в журнале и кто имеет право использовать ключ. Если на эти вопросы отвечают после инцидента, инструкции в промпте уже не помогут.
Коротко
Не отправляйте секреты, платёжные данные и лишние персональные сведения.
Разделяйте очистку входа, права backend и журналы событий.
Relay не хранит тексты запросов и ответов, но это не заменяет вашу политику данных и проверку маршрута обработки.
Что нельзя класть в запрос без отдельного решения
Секреты идут первыми: пароли, токены, закрытые ключи, строки подключения, сессионные cookies, содержимое файлов конфигурации. Модели не нужны эти значения, чтобы объяснить ошибку или предложить алгоритм. Дайте ей обезличенный фрагмент, название переменной и описание симптома.
Дальше идут персональные данные. Имя клиента бывает необходимо для ответа, но паспортный номер, медицинская запись, реквизиты карты или полный адрес обычно не нужны для языковой задачи. Вопрос «можно ли отправить» должен решаться владельцем данных и юристом по конкретному процессу. Упоминание 152-ФЗ или GDPR в маркетинговом тексте не делает обработку законной.
Осторожность нужна и с кодом. Внешне безобидный лог может содержать адрес внутреннего сервиса, идентификатор клиента, токен в заголовке или снимок переменных окружения. Передача целого репозитория ради одного исключения в стектрейсе - привычный, но плохой способ отладки.
Для Relay актуальные условия обработки описаны на страницах конфиденциальности и данных. Эти документы важнее пересказа в статье: правила хранения и роли участников должны проверяться перед запуском процесса, а не по старой заметке.
Как построить фильтр перед LLM
Первый слой работает без модели. Он удаляет или заменяет ожидаемые типы данных: секреты в заголовках, номера платёжных карт, адреса электронной почты, телефоны, внутренние идентификаторы. Такой фильтр должен быть тестируемым. Добавьте в тесты ложные срабатывания и случаи, которые фильтр обязан пропустить, иначе он незаметно испортит полезный контекст.
Второй слой решает, что вообще требуется для задачи. Боту поддержки обычно не нужен полный профиль пользователя. Достаточно статуса, типа обращения и минимального набора признаков, который backend получил после авторизации. Если модели требуется текст обращения, не добавляйте к нему историю заказов «на всякий случай».
Третий слой проверяет выход. Ответ может случайно повторить скрытый фрагмент, попросить действие вне полномочий или придумать поле, которого не было в данных. В приложении должны быть правила, когда результат блокируется, когда уходит на ручную проверку и когда его можно показать пользователю.
Я бы начал с короткой схемы данных для каждого сценария: вход, допустимые поля, причина передачи, срок хранения, получатель результата. Это скучная работа. Зато через месяц она отвечает на вопрос, почему в промпте оказался конкретный фрагмент.
Что сохраняет Relay и что остаётся у приложения
Relay не хранит содержимое запросов и ответов. Журнал запроса содержит служебные метаданные: request ID, время, модель, статус, объём токенов и стоимость. Это помогает разобраться в неудавшемся вызове, не превращая сервисный журнал в архив переписки.
Откройте журнал запросов, чтобы увидеть назначение этих полей, и документацию аутентификации, чтобы проверить схему передачи ключа. Собственный backend при этом может вести другие логи. Именно там часто оказываются полный prompt, тело webhook или ответ внешнего инструмента. Политика Relay не очищает их автоматически.
Для диагностики храните минимум, который позволяет связать событие с запросом: внутренний ID операции, request ID, версия шаблона, решение валидатора и безопасная причина отказа. Не копируйте в логи исходный документ или весь ответ модели, если расследование можно провести без них.
Как защищать API-ключи
Ключ выдаётся приложению, а не человеку в браузере. Веб-клиент обращается к вашему backend, backend хранит секрет в защищённом механизме окружения и вызывает API. В репозитории остаётся имя переменной, а не её значение. Это ограничивает и случайную публикацию, и соблазн вставить рабочий ключ в промпт.
Для разных интеграций используйте разные ключи. Отдельный ключ для фоновой обработки документов не должен совпадать с ключом поддержки или локальной разработки. В Relay для ключа доступны денежные лимиты на весь срок, день и месяц. Они полезны как предохранитель, но не заменяют проверку прав, мониторинг и быстрый отзыв.
Параметры ключей, лимиты и отзыв собраны на странице API-ключей. Если ключ попал в лог, коммит или сообщение, считайте его скомпрометированным: отзовите, выпустите замену, проверьте связанные вызовы по request ID и найдите путь утечки. Не ждите окончания рабочей недели.
Какие логи нужны для расследования
Журнал должен отвечать на четыре вопроса: кто запустил процесс, какой сценарий сработал, была ли очистка данных и чем закончился вызов. Для этого достаточно технических идентификаторов и статусов. Текстовые тела добавляют риск, но редко делают расследование лучше.
У событий должен быть срок хранения, доступ по ролям и понятный способ удаления. Уведомления о сбоях тоже требуют фильтра: в них не должен попадать исходный prompt. Отдельно проверьте трассировки, инструменты аналитики и дампы ошибок. Там секреты чаще прячутся за полем context или headers.
Не обещайте пользователю, что «данные никуда не уходят», если модель должна их обработать. Честная формулировка точнее: приложение передаёт только необходимое, очищает лишнее, ограничивает доступ и ведёт минимальный технический след. Остальное нужно подтвердить документами и конкретной конфигурацией.
Как распределить доступ внутри команды
Разделите владельцев процесса. Разработчик отвечает за очистку входа и серверный вызов, владелец продукта утверждает допустимые сценарии, специалист по безопасности проверяет доступы и журналирование, юрист оценивает основания обработки там, где это требуется. Один человек не должен единолично менять все эти границы через строку в промпте.
Доступ к техническому журналу нужен не каждому оператору. Уровни просмотра стоит строить так, чтобы большинство задач решалось по статусу, request ID и безопасным метаданным. Выдача доступа к исходным материалам должна быть исключением с понятной причиной и сроком. Это снижает ущерб, если ошибка всё же произошла.
Отдельно закрепите порядок изменения. Новая интеграция, тип документа или инструмент могут расширить набор полей в запросе. Такая правка должна пройти короткую проверку схемы данных и логов до выкладки. Иначе аккуратный процесс постепенно станет набором исключений, которые никто не помнит.
Что делать с конфликтом между удобством и минимизацией
Полный профиль клиента делает prompt удобным для автора сценария, но увеличивает риск без гарантии качества. Каждый дополнительный атрибут должен отвечать на простой вопрос: какое решение нельзя принять без него? Если ответа нет, поле не отправляется. Это правило работает лучше длинного списка запретов.
Иногда оператору нужен первичный документ, а модели достаточно его краткого безопасного описания. Разделите эти каналы. Человек работает с документом в разрешённой системе, а LLM получает только необходимые признаки. Такой дизайн требует больше backend-кода, зато не превращает помощника в неограниченный просмотр чужих данных.
Если без полного документа задача не решается, не расширяйте prompt по умолчанию. Остановите сценарий и зафиксируйте отдельный порядок доступа, ответственных и срок хранения.
Что проверить до запуска
Перед первым реальным потоком проведите упражнение с тестовыми данными. Подайте в систему безопасные маркеры секретов и персональных полей, затем посмотрите, где они оказались: в исходящем запросе, ответе, журнале backend, трассировке, алерте, очереди оператора. Исправляйте путь и маску на последнем экране.
Проверьте вход. Затем очистите его, ограничьте доступ, запишите причину, согласуйте исключение, отзовите лишний ключ, повторите проверку, остановите опасный маршрут, передайте сложный случай человеку и зафиксируйте решение.
Проверьте и сценарий отказа. Если в документе обнаружены лишние сведения, система должна прекратить обработку или передать её человеку. Если модель вернула неожиданный формат, backend не должен продолжать бизнес-операцию. Форматы ошибок Relay описаны в справочнике, а в приложении нужен свой безопасный текст для пользователя.
Вопросы и ответы
Можно ли отправить модели лог ошибки?
Можно после очистки. Уберите ключи, заголовки авторизации, session cookies, адреса внутренних сервисов, персональные поля и полный контекст окружения. Оставьте код ошибки, безопасный фрагмент стека, версию компонента и шаг воспроизведения. Если ценность лога зависит от секрета, задачу лучше передать инженеру.
Достаточно ли того, что Relay не хранит текст запроса?
Нет. Это ограничивает содержание сервисного журнала Relay, но не защищает данные в вашем backend, очереди, трассировках, сторонних инструментах и у выбранной модели. Нужна карта всего потока данных, а для чувствительных сценариев - отдельная юридическая и техническая проверка.
Какой первый шаг при утечке ключа?
Сразу отзовите ключ и выпустите замену для приложения. Затем ограничьте повторное использование старого значения, найдите место утечки и проверьте связанные запросы по безопасным метаданным. Не вставляйте скомпрометированный ключ в тикет, чат или prompt ради диагностики.