Потоковый ответ LLM: завершение, обрыв и отмена
Потоковый ответ нужно считать завершённым после события завершения выбранного протокола. Полученные фрагменты текста ещё не подтверждают, что операция закончилась успешно. Отдельно обрабатывайте отмену пользователем, ошибку и потерю соединения.
Когда стриминг не нужен
Поток оправдан, пока человек читает текст по мере появления. Если читателя нет, он только добавляет код. Три признака, что поток лишний: ответ короткий (классификация, одно поле, «да» или «нет»); результат уходит дальше в код и нужен целиком и проверенным, например JSON; задача идёт в фоновой пакетной обработке, где проще повторы и учёт.
У правила есть оговорка. Длинный ответ без потока рискует получить upstream_timeout, а у запроса без stream: true такая ошибка приходит с x-should-retry: false. Поэтому для длинной генерации включайте поток, даже если пользователь увидит текст только целиком: читайте его до конца и собирайте ответ в своём коде. В этом режиме не разбирайте частичный JSON по ходу дела. Накопите фрагменты и разберите ответ целиком после события завершения: так пропадает класс ошибок, когда поток оборвался посреди скобки.
Храните состояние операции
До начала потока интерфейс показывает ожидание. После первого фрагмента можно выводить текст, но оставлять признак выполняющегося запроса. Успешное завершение, ошибка и отмена переводят операцию в разные конечные состояния.
При обрыве сохраните частичный текст с понятной отметкой. Не показывайте его как окончательный ответ и не отправляйте автоматически в следующий шаг бизнес-процесса. Например, неполная инструкция или JSON без закрывающей скобки не подходит для выполнения действия.
Используйте парсер протокола
В Chat Completions поток содержит SSE-данные; текст приходит фрагментами, которые нужно собирать. Для Anthropic Messages имена событий и структура блока отличаются. Примеры обоих протоколов находятся в документации streaming.
Сетевой chunk не обязан совпадать с одним событием SSE или одним символом UTF-8. Предпочтительнее читать поток средствами SDK. При собственном парсере нужно буферизовать неполные события и учитывать разделители. Иначе редкий разрыв пакета испортит текст при исправной работе API.
Свяжите кнопку остановки с запросом
Остановка вывода в интерфейсе не равна отмене сетевой операции. Передайте сигнал отмены HTTP-клиенту, прекратите чтение и отметьте причину завершения. Проверьте этот сценарий именно в вашей библиотеке и среде исполнения.
Пользовательская отмена не доказывает нулевой расход: запрос уже мог начать выполняться. Правила учёта описаны в руководстве расчётов. Не обещайте возврат на основании того, что пользователь закрыл вкладку.
Решайте о повторе отдельно
После обрыва не запускайте весь запрос скрытым циклом. Новый вызов может снова потребовать оплату и дать другой ответ. Покажите пользователю частичный результат и предложите осознанное повторение.
Для разбора сохраните request_id, время начала, момент последнего фрагмента и причину закрытия. Секрет и весь пользовательский текст в технический лог не нужны. Коды ошибок и рекомендации по повтору доступны в справочнике, а выполненные операции проверяются в журнале.
Что делать с частичным ответом после обрыва
Поток не продолжается с места обрыва. Любой повтор становится новым запросом, и его стоимость зависит от его собственного исхода. Дальше выбор из трёх вариантов. Покажите полученное с пометкой «прервано», если оно полезно само по себе. Повторите весь запрос, если ответ короткий или частичный текст ничего не стоит. Или отправьте новый запрос, в который вы сами передаёте уже полученное начало с просьбой продолжить: чем длиннее готовая часть, тем меньше выходных токенов придётся генерировать заново, а вход вы оплатите снова.
От двойной обработки защищайтесь собственным идентификатором задачи. Relay не поддерживает ключи идемпотентности запросов, это указано на странице совместимости.