LLM API для Telegram-бота поддержки: выбор и запуск
Telegram-бот поддержки должен быстро распознавать повторяемые вопросы, но не принимать решения за сотрудника. При выборе LLM API смотрите на путь webhook, отдельный ключ, доступные модели, журнал запросов и сценарий передачи оператору. Название модели в каталоге не заменяет проверку на реальных, обезличенных диалогах.
Коротко
Ключ webhook хранится только на backend и отделён от других интеграций.
Модель выбирают на тестовой выборке обращений и по правилам эскалации.
Логи нужны для разбора сбоя, но не для копирования сообщений клиентов без необходимости.
Что проверить у API до первой интеграции
Начните с контрактов, а не с бота. Backend должен уметь создать запрос, передать ключ, выбрать модель, обработать понятный ответ и разобрать ошибку. В Relay есть форматы Chat Completions и Messages API. Список протоколов и неподдерживаемых возможностей собран в документации протоколов.
Для webhook нужен отдельный ключ. В Relay можно задать ему денежные лимиты на весь срок, день и месяц. Это уменьшает последствия ошибки в цикле, но не защищает от повторной доставки одного сообщения. Идемпотентность Telegram-события, очередь и ограничение параллелизма остаются задачами backend.
Не встраивайте ключ в бот-клиент и не пересылайте его в чат администратору. Создание, ограничение и отзыв ключа описаны на странице API-ключей. Если секрет оказался в логе или коммите, отзовите его и создайте новый.
Как выбирать модель для диалогов
Соберите небольшой закрытый набор обращений: вопрос по базе знаний, неполное сообщение, просьба о человеке, спорный случай, попытка заставить бота выполнить действие. Для каждого заранее укажите ожидаемый исход. Сравните кандидатов на одинаковом промпте и одинаковых фрагментах знаний.
Проверяйте полноту ответа, остановку модели при нехватке данных, отказ от выдуманной политики и выбор передачи оператору. Я бы начинал с одного кандидата и понятного маршрута эскалации. Вторую модель добавляют, когда тесты показывают конкретную задачу, которую первая не решает.
Перед включением бота откройте каталог моделей и проверьте статус, доступные возможности и цену выбранной модели.
Как устроить безопасный webhook
Webhook принимает событие, проверяет его подлинность и сохраняет внутренний идентификатор доставки. Затем backend определяет тему, очищает лишние данные, ищет разрешённые фрагменты базы знаний и вызывает модель. Результат проходит проверку схемы. Если ответ не опирается на источник, содержит запрещённое действие или пользователь просит оператора, backend создаёт тикет.
Модель не должна напрямую менять заказ, возврат, доступ или реквизиты. Она может собрать сведения для сотрудника. Сервер проверяет права, подтверждение пользователя и правила операции. Это правило остаётся одинаковым для Telegram, сайта и любого другого канала.
При сбое сохраните безопасные метаданные: внутренний ID доставки, request ID, выбранную модель, статус, результат повтора и факт эскалации. Их можно сопоставить с вызовом через журнал запросов. Содержимое сообщения клиента туда переносить не нужно.
Что делать при недоступности модели
Пользователю не стоит показывать внутренний код ошибки. Backend решает, можно ли поставить задачу в очередь, вернуть нейтральное сообщение или передать диалог оператору. Повтор выполняется по ясному правилу и не создаёт дубликат ответа.
Relay поддерживает резервные маршруты для модели, но поведение и цена зависят от настройки ключа. Прочитайте документацию резервных маршрутов перед включением такого режима. Если для поддержки важна предсказуемость, начните с одного проверенного маршрута и зафиксируйте тест на отказ.
Ошибку полезно сопоставить с request ID и категорией, а не угадывать её по тексту. Доступные коды и повторяемые ситуации перечислены в справочнике ошибок.
Какая таблица выбора нужна команде
Сведите сравнение к тому, что бот обязан делать. Эти критерии важнее громкого названия модели.
| Задача | Что нужно от API | Что проверить |
|---|---|---|
| Ответ по базе знаний | Текстовый ответ по переданному контексту | Есть ссылка на источник, при его отсутствии бот передаёт диалог оператору |
| Классификация обращения | Устойчивый структурированный результат | Backend принимает схему и отклоняет ответ вне неё |
| Передача оператору | Контекст без повторной доставки | Backend создаёт один тикет и сохраняет безопасное резюме |
У каждой строки таблицы должен быть тест и владелец решения. Если у кандидата нет подтверждённого результата на конкретном сценарии, не включайте его в автоматический маршрут. Появится такой результат позже, тогда модель можно добавить в новую версию сравнения.
Какие ограничения задать до старта
Ограничьте длину истории, число повторов и число одновременных обработок одного чата. Отдельно задайте таймаут внешней операции и правило, когда webhook переводит задачу в очередь. Эти ограничения защищают процесс даже при корректной работе модели.
Проверьте, что бот говорит пользователю при передаче оператору. Сообщение должно описывать только совершённое действие, например факт создания обращения, если оно действительно создано. Не обещайте срок ответа, доступность сотрудника или результат решения без подтверждённого процесса поддержки.
Перед запуском искусственно вызовите отказ модели и повторную доставку одного события. Проверьте, что в очереди появился один понятный случай, а в журнале есть метаданные для поиска. Этот короткий прогон лучше показывает готовность webhook, чем удачный ответ на один демонстрационный вопрос.
Ещё проверьте канал оператора. Он должен увидеть тему, безопасное резюме, внутренний ID доставки и причину передачи. Пользователь при этом получает короткий честный статус. Разные тексты для клиента и сотрудника снижают риск выдать внутреннюю деталь в публичный чат.
Проверьте маршрут, остановите повтор, сохраните ID, передайте задачу, покажите статус и закройте дубликат. Эти действия остаются в backend, а не в свободном ответе модели.
Вопросы и ответы
Нужен ли отдельный ключ для Telegram-бота?
Да. Отдельный ключ облегчает ограничение расхода, отзыв после инцидента и разбор запросов конкретной интеграции. Не делите его с локальной разработкой, панелью администратора или другим ботом. Внутри backend ключ остаётся секретом и не уходит в сообщение Telegram.
Можно ли передать боту полный текст обращения клиента?
Передавайте только те поля, без которых он не сможет сформулировать ответ. До вызова удалите лишние персональные сведения и секреты. Если вопрос требует проверки заказа или аккаунта, backend сам получает минимальный факт после авторизации и не превращает модель в прямой доступ к базе.
Как проверить, что бот не отвечает наугад?
Добавьте в тестовый набор вопросы без ответа в базе знаний и заранее задайте правильный исход: передача оператору. Затем прогоняйте набор при смене модели, промпта и поиска. Если бот стал реже эскалировать, проверьте, не выросло ли число уверенных ответов без источника.