Голосовой агент на LLM: текстовый слой, STT и TTS
Голосовой агент состоит как минимум из трёх частей: распознавание речи, текстовая логика и синтез ответа. Relay участвует только в текстовом LLM-слое. В нём нет STT, TTS и realtime-аудио API, поэтому поток байтов микрофона нельзя отправить туда как готовый голосовой вызов.
Коротко
Речь сначала превращается в текст внешним STT-компонентом.
Relay получает текст, формирует ответ и может отдавать его потоком.
TTS, отмена звучащей фразы и правила передачи оператору остаются задачами приложения.
Из каких частей собирается голосовой агент
Пайплайн начинается на устройстве пользователя. Микрофон и детектор активности речи решают, когда фраза закончилась. STT превращает её в текст. Затем backend добавляет контекст диалога, данные из разрешённых источников и правила ответа, после чего вызывает LLM. Текст ответа уходит в TTS и только потом звучит в динамике.
Каждая часть отвечает за свой риск. STT может неверно услышать имя. LLM может ответить вне базы знаний. TTS может озвучить уже неактуальную реплику, если человек перебил бота. Когда эти ошибки смешаны в один сервис, их трудно измерять и исправлять.
Для текстового слоя выберите доступную модель в каталоге и проверьте её на своих диалогах. Карточка ниже показывает текущую модель как пример выбора, а не готовую рекомендацию для каждого голосового сценария.
Что Relay делает в голосовом сценарии
Relay принимает текстовые запросы через поддерживаемые протоколы, включая Chat Completions и Messages API. Потоковый режим описан в документации по streaming. Он нужен, чтобы backend начал передавать текст в TTS до завершения длинной реплики, если такое поведение проверено для выбранного стека.
Это не делает API голосовым. В списке неподдерживаемых путей отдельно названы audio и Realtime. Не планируйте на Relay передачу PCM, управление аудиоканалом или встроенное распознавание речи. Такой контракт лучше записать в архитектуре до первых интеграционных тестов, иначе команда будет искать проблему в модели там, где её нет.
У LLM-слоя другая работа: выбрать действие, кратко ответить по утверждённой базе и запросить передачу оператору, когда данных недостаточно. Он не должен сам звонить клиенту, менять заказ или списывать деньги. Эти действия выполняет backend после авторизации и отдельной проверки.
Как собрать живой диалог без иллюзий
Начните с очередности состояний: слушаем, распознаём, ждём текстовый ответ, озвучиваем, снова слушаем. Для каждого перехода определите таймаут, отмену и запись в безопасный журнал. Не используйте целевую задержку, пока не измерили её на реальном устройстве, сети и выбранных внешних компонентах.
Особое состояние - перебивание. Пользователь начинает говорить, пока TTS ещё воспроизводит ответ. В этот момент приложение прекращает аудио, отменяет или помечает текущую генерацию и отправляет новую фразу после распознавания. Частичный текст старой реплики не стоит автоматически добавлять в историю как законченную мысль. Он может исказить следующий ответ.
Я бы сначала реализовал обычный текстовый чат с теми же правилами эскалации. Потом добавил STT и TTS вокруг уже проверенного backend-потока. Так легче увидеть, что сломалось: распознавание, модель, выдача знаний или аудиоплеер.
Как ограничить контекст и действия
Голосовой канал создаёт много коротких фраз. Не отправляйте в каждую генерацию весь разговор без отбора. Backend может хранить собственную краткую сводку, последние реплики и только необходимые факты из карточки клиента. Перед передачей этих данных в LLM уберите лишние персональные поля.
Правила должны быть короткими и исполнимыми. Например: отвечать только по найденным статьям базы, не раскрывать данные без проверки пользователя, передавать диалог человеку при запросе на деньги или изменение аккаунта. Если модели нужен доступ к системе заказов, дайте ей описанный инструмент, но решение о вызове и проверку результата оставьте серверу.
Для контроля расходов создайте отдельный ключ для голосового backend и настройте допустимые ограничения в разделе API-ключей. Лимиты Relay считаются в деньгах на весь срок, день и месяц. Они не заменяют очередь, ограничения на длину истории и защиту от повторного webhook-события.
Какие метрики действительно нужны
Не начинайте со средней задержки всей системы. Она скрывает паузы распознавания, очереди backend и длинные ответы. Сохраняйте этапы отдельно: получена ли фраза, появился ли текст STT, началась ли генерация, начал ли TTS воспроизведение, был ли диалог перебит и передан ли оператору.
Ещё нужны показатели качества: доля разговоров с эскалацией, повтор одного и того же вопроса, отмена во время озвучивания, ошибка после вызова инструмента. Их стоит разбирать на выборке диалогов, а не по впечатлению команды от нескольких удачных разговоров.
В последовательном режиме измеряйте время до первого звука и до конца ответа раздельно. Первое включает распознавание речи, очередь backend, генерацию всего текста и подготовку первой аудиочасти. Для второго добавьте воспроизведение от первого звука до конца. В потоковом режиме генерация и воспроизведение пересекаются, поэтому складывать их полную длительность нельзя. Сохраняйте временные метки начала генерации, первого текстового токена, старта TTS, первого звука и завершения воспроизведения. По ним видно, что задержало диалог, без двойного учёта.
В Relay записи запросов можно сопоставить по request ID в журнале. Журнал показывает метаданные вызова, статус, модель, токены и стоимость. Тексты запросов и ответов в нём не хранятся, поэтому для голосового контроля приложению следует отдельно спроектировать свой минимальный аудит.
Как проверять голосовой сценарий
Текстовый тест недостаточен. Пользователь может сделать паузу посреди фразы, перебить агента, говорить фоном рядом с другим человеком или повторно отправить одно и то же сообщение после обрыва сети. Для каждого случая нужен ожидаемый переход состояния. Важно проверить, что старый ответ не звучит поверх новой реплики и не вызывает действие после отмены.
Отдельно посмотрите на границы ответственности. Распознавание может выдать сомнительный текст, а модель ответит на него вполне связно. Backend должен сохранить признак неопределённости STT и выбрать более осторожный маршрут, если вопрос касается доступа, денег или персональных данных. Нельзя исправить плохой вход красивой формулировкой ответа.
Проведите прогон на устройстве, которое будет использоваться в работе, и с настоящими условиями сети. Измеряйте этапы отдельно, записывайте отмены и эскалации. Цель такой проверки не в красивом среднем числе, а в обнаружении ситуаций, где агент говорит не вовремя или не может остановиться.
Каким должен быть ответ модели
Голосовой ответ короче экранного. Системные правила могут ограничить длину реплики, запретить перечислять длинные инструкции вслух и попросить сначала уточнить неоднозначный вопрос. Но это не повод скрывать важное условие. Если действие рискованно, агент говорит, что передаст разговор человеку, а не сокращает предупреждение ради темпа.
Перед TTS полезно пропускать текст через простую проверку: нет ли в нём служебной разметки, лишних ссылок, повторов и полей, которые не должны звучать. Такой фильтр не меняет смысл ответа, зато снимает технический шум с голосового канала.
При отмене реплики фильтр и TTS должны остановиться вместе с генерацией. Иначе пользователь услышит ответ на старый вопрос уже после того, как начал новый.
Вопросы и ответы
Можно ли отправлять аудиофайл прямо в Relay?
Нет. В поддерживаемых возможностях Relay нет audio, STT, TTS и Realtime. Сначала используйте подходящий компонент распознавания речи, затем передайте его текстовый результат в один из текстовых API. Обратный путь тоже строится отдельно: сначала текст ответа, потом синтез речи на стороне выбранного TTS.
Нужен ли потоковый режим для голосового агента?
Он полезен, когда ваш TTS умеет начинать озвучивание по мере поступления текста. Но поток не отменяет проверку границ предложений, отмену при перебивании и лимит длины ответа. Сначала подтвердите обработку обрывов и повторов на своём backend, потом оптимизируйте ощущение скорости.
Как не дать агенту выполнить опасное действие голосом?
Не предоставляйте модели прямое право на изменение заказа, возврат или удаление данных. Пусть она собирает намерение и недостающие сведения. Backend проверяет авторизацию, состояние объекта и явное подтверждение, после чего выполняет отдельную операцию или переводит разговор оператору.