К содержимому
Блог

Чат-бот поддержки на LLM: от базы знаний до оператора

Чат-бот поддержки на LLM: от базы знаний до оператора

Чат-бот поддержки полезен, когда умеет три вещи: найти ответ в утверждённых материалах, сказать «не знаю» и передать разговор человеку без потери контекста. Модель сама по себе не даёт ни одну из них. Их строит backend вокруг вызова LLM.

Коротко

  • Начните с перечня вопросов, на которые бот вправе отвечать.

  • Передавайте модели выдержки из базы знаний и требуйте ссылку на источник ответа.

  • Любое действие с деньгами, аккаунтом или персональными данными проверяет backend, а не модель.

Какие задачи отдавать боту первой линии

Подходят повторяемые вопросы: настройка продукта, статус обычной операции, поиск инструкции, разъяснение известного правила. Не подходят спор о счёте, удаление данных, смена реквизитов, юридический вопрос и любое действие, где ошибка меняет состояние клиента. Там бот может собрать сведения и подготовить черновик, но решение принимает оператор или отдельный серверный процесс.

Составьте таблицу намерений. Для каждого укажите источник знаний, допустимый ответ, сигнал эскалации и запрещённые действия. Фраза «бот помогает со всем» не годится как требование. Она не проверяется и подталкивает модель заполнять пробелы уверенным тоном.

Я бы запустил первую версию только на нескольких понятных намерениях. Меньший охват даёт материал для честного измерения. Когда видно, что бот находит правильные источники и передаёт сложные случаи, можно расширять список.

Как устроен путь ответа

Пользователь пишет в виджет, мессенджер или форму. Ваш backend определяет тему, ищет подходящие фрагменты базы знаний, добавляет их к запросу и вызывает модель. Затем он проверяет структуру ответа, сохраняет безопасные метаданные и отправляет текст в канал. Если источника нет или проверка не пройдена, backend создаёт задачу оператору.

Схема чат-бота поддержки: сообщение пользователя, backend, поиск в базе знаний, LLM, проверка ответа, ответ клиенту или передача оператору

Поиск в базе знаний не превращает любой документ в истину. У каждого фрагмента должны быть владелец, версия и дата пересмотра. Устаревшее правило возврата или старый тариф в retrieval дадут боту аккуратный, но неверный ответ. Поэтому качество базы измеряется отдельно от качества генерации.

Модель не получает прямой доступ к CRM, платежам и административной панели. Если требуется узнать статус заказа, backend выполняет проверенный метод после авторизации, передаёт модели минимальный результат и сам проверяет попытку изменить состояние. Такой разрыв кажется лишним до первого prompt injection.

Как написать правила для модели

Системные правила должны отвечать на четыре вопроса: роль бота, допустимые источники, условия отказа и формат ответа. Например, бот может отвечать только по найденным выдержкам, указывать их заголовок и передавать диалог при нехватке данных. Если источник не найден, ему запрещено придумывать политику или цену.

Не вкладывайте текст пользователя в те же инструкции, которыми управляете моделью. Сообщение, письмо и документ из тикета остаются данными. Пометьте их как недоверенный вход, а правила держите отдельно. Тогда фраза внутри цитаты «игнорируй предыдущие инструкции» не выглядит как новая команда.

Для технических вызовов Relay можно начать с быстрого старта, затем выбрать протокол в справочнике. Если выбранная модель поддерживает потоковый ответ, подключите его после того, как проверены сборка финального текста и передача оператору. Поток улучшает восприятие ответа, но не делает его точнее.

Где применяются инструменты

Инструмент нужен, когда бот должен получить факт из вашей системы: состояние тикета, статус доставки, доступность функции, запись в календаре. Описание инструмента задаёт строгую схему входа и ожидаемый результат. Backend проверяет разрешение пользователя, выполняет запрос и возвращает модели только необходимые поля.

Не выдавайте инструмент «сделать всё». Разделите чтение и изменение. Для изменения добавьте серверную проверку, журнал события и подтверждение человека, если операция влияет на деньги, доступ или персональные данные. Модель может предложить действие, но не должна быть единственным барьером перед ним.

У Relay есть маршруты Messages API и Chat Completions. Возможности конкретной модели смотрите в каталоге, а не в старом промпте. Карточка модели ниже подключает актуальную цену через интерфейс блога, не фиксируя число в тексте.

Каталог моделей

Шаблон системной инструкции

Системную инструкцию лучше держать короткой и связанной с проверяемыми правилами. В неё не кладут весь текст базы знаний и не дают модели доступ к действию без серверной проверки.

text
Вы помогаете первой линии поддержки.
Отвечайте только по фрагментам базы знаний, которые передал backend.
Если источника не хватает, скажите об этом и передайте диалог оператору.
Не меняйте заказ, доступ, возврат или реквизиты.
Не раскрывайте персональные данные и внутренние правила.
Для каждого ответа укажите использованный источник или причину эскалации.

Backend передаёт источники отдельным контекстом и сам проверяет схему ответа. Такая граница не позволяет промпту стать единственной защитой процесса.

Как измерять качество без самообмана

Соберите закрытый набор обращений с ожидаемым исходом. Для каждого вопроса отметьте: нашлась ли правильная статья, ответил ли бот по источнику, потребовалась ли эскалация, не предложил ли он запрещённое действие. В наборе нужны неудобные случаи: неполный вопрос, устаревшая политика, конфликтующие документы, просьба о человеке и попытка навязать модели новые правила.

После смены модели, промпта или поиска прогоняйте один и тот же набор. Сравнивайте среднюю оценку, классы ошибок и долю эскалаций. Ошибка в вопросе о возврате отличается от невежливого ответа на вопрос о настройке. Слишком низкая доля эскалаций может значить, что бот отвечает там, где обязан остановиться.

В production сохраняйте минимальные метрики: тема, версия промпта, идентификатор источника, результат валидатора, решение об эскалации и request ID. Журнал Relay помогает найти статус и стоимость API-вызова через наблюдаемость, но тексты запросов и ответов в нём не хранятся. Собственную политику логов проектируйте отдельно.

Как построить эскалацию

Эскалация не должна быть тупиком. Оператору полезны краткое резюме, выбранная тема, ссылки на найденные документы, действия backend и причина передачи. Пользователю нужен честный текст без выдуманного срока ответа. Если в очереди нет оператора, система должна сообщить только то, что действительно может выполнить.

Сигналы передачи стоит определить явно: недостаточно источников, низкая оценка валидатора, запрос на изменение аккаунта, спор о деньгах, чувствительные данные, просьба поговорить с человеком. В каждом случае бот прекращает самостоятельные действия. Это нормальное поведение, а не провал автоматизации.

Проверьте сценарий обрыва. Если вызов API завершился ошибкой, не создавайте несколько одинаковых тикетов при повторе webhook. Для диагностики используйте request ID и документированные статусы из справочника ошибок.

Как подготовить базу знаний

Утверждённый документ должен отвечать на один вопрос и иметь владельца. Если в базе лежат три версии правила, поиск найдёт все три, а модель выберет формулировку без понимания, какая из них действует. Перед индексацией удалите дубли, отделите черновики от опубликованных материалов и пометьте страницы, которые требуют пересмотра.

Фрагмент базы должен сохранять контекст: заголовок, ссылку на полный документ, дату изменения и область действия правила. Короткий абзац без условия легко становится неправильным ответом. Если статья относится только к одному тарифу, региону или версии продукта, это условие идёт рядом с текстом, а не остаётся в сноске.

Проверьте путь обновления. Когда редактор меняет политику, старая версия должна исчезнуть из поиска или получить статус недействующей. Бот не сможет отличить старое правило от нового, если backend передаёт ему оба без приоритета. Этот процесс важнее выбора сложной схемы поиска.

Как выпускать бота без риска для поддержки

Сначала дайте боту роль помощника оператора. Он ищет документы, готовит черновик и предлагает тему, а человек подтверждает отправку. На этом шаге команда видит, где не хватает статей, какие вопросы пользователь формулирует иначе и какие правила слишком сложны для автоматизации.

После этого ограниченный набор намерений можно открыть пользователям. Следите за причинами эскалации, отказами валидатора и повторными вопросами после ответа. Если появилась новая категория ошибки, добавьте её в тестовый набор и в правила маршрутизации. Не лечите единичный случай бесконечным системным промптом.

Выпуск должен иметь обратимый путь. При ухудшении поиска или росте опасных ответов бот переключается на передачу оператору, а не продолжает отвечать с пониженной уверенностью. Такая остановка защищает и клиента, и команду поддержки.

Как вести набор оценок после запуска

Тестовый набор не заканчивается в день релиза. Каждую новую причину эскалации полезно разбирать: была ли в базе нужная статья, нашёл ли её поиск, правильно ли модель объяснила ограничение, хватило ли оператору переданного контекста. Несколько таких случаев дают более точную задачу, чем общий запрос «сделайте бота умнее».

У примера должна быть версия ожидаемого исхода. Политика поддержки меняется, продукт получает новую функцию, а старый вопрос после этого становится нормальным сценарием. Если не обновлять ответы в наборе, тесты начинают удерживать бота на устаревшем поведении.

Оценивайте текст, правильность выбранного источника, формат передачи оператору, число лишних вызовов инструментов и факт соблюдения запрета на действие. Модель способна написать вежливый ответ и всё равно нарушить процесс. Такая ошибка важнее стилистического дефекта.

Периодически просматривайте выборку вместе с поддержкой. Оператор знает, где формальная инструкция не объясняет реальную ситуацию, а инженер видит, где проблема возникла в поиске или интеграции. Общий разбор сокращает количество промптов-латок и помогает улучшать сами статьи базы знаний.

Как увидеть пользу без выдуманных метрик

Смотрите на операции, которые бот действительно завершил по утверждённому сценарию: нашёл документ, дал ответ по нему, не нарушил запрет и не создал лишнюю работу оператору. Затем сравнивайте одинаковые периоды после изменения процесса. Если сокращается время поиска, но растут исправления операторов, запуск нельзя считать удачным.

Не назначайте целевую экономию до измерения своего потока. Сначала получите базовую картину: темы обращений, число передач, причины отказов и повторные вопросы. После этого команда сможет выбрать изменение, проверить его на наборе оценок и увидеть разницу без рекламных процентов.

Прогноз затрат можно строить без чисел в статье. Токеновую часть без кэша считайте так: (Nвход × Pвход + Nвыход × Pвыход) / 1 000 000, где N означает число токенов, а P - тариф за миллион токенов. Затем добавьте вызовы поиска и обработанные оператором эскалации. Кэш посчитайте отдельно по ставке за миллион токенов для выбранного протокола и режима кэширования. Тарифы модели берите из её актуальной карточки, а не из старого расчёта. Формула помогает увидеть, какие части потока меняют итог, но не подменяет измерение фактического объёма обращений.

Вопросы и ответы

Нужна ли векторная база для первого бота поддержки?

Не всегда. Если база знаний мала и хорошо структурирована, достаточно точного поиска по документам и явного списка разделов. Векторный поиск становится полезным, когда материалов много и формулировки вопросов отличаются. В любом случае оцените отдельно поиск источника и качество сформулированного ответа.

Можно ли разрешить боту самому менять заказ клиента?

Нет без независимой серверной проверки. Бот может собрать намерение, показать черновик действия и запросить подтверждение. Backend должен проверить пользователя, состояние объекта и бизнес-правила, затем выполнить узкую операцию. Для спорных и финансовых действий оставьте передачу оператору.

Как понять, что эскалаций стало слишком много?

Сначала разделите их по причинам. Рост может означать, что в базе не хватает статей, что поиск не находит верный фрагмент или что бот корректно перестал угадывать. Снижать долю эскалаций без разбора причин опасно: легко получить больше уверенных, но неверных ответов.

Создать аккаунт

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.