К содержимому

Тег

Стриминг и задержка

3 статьи

Все статьи

Потоковый ответ приходит кусками, пока модель пишет. Пользователь видит текст сразу, а не после долгой паузы. Платой за удобство становится код: поток нужно разобрать по событиям, не потерять расход токенов и правильно закрыть при обрыве или отмене.

В формате OpenAI поток завершает строка data: [DONE], в Anthropic Messages событие message_stop. Без этих признаков ответ считается неполным. Ошибка до начала потока приходит обычным JSON с кодом, а сбой посреди потока приходит событием error или виден как обрыв соединения. События описаны в документации по стримингу. Рядом лежат рабочий код на TypeScript и Python и приёмы, которые сокращают время до первого токена.

Голосовой агент на LLM: текстовый слой, STT и TTS

Как спроектировать голосового агента: разделить распознавание речи, LLM и синтез, учесть прерывание диалога и не приписать текстовому API несуществующие возможности.

Задержка LLM API: как измерить TTFT и сократить ожидание

Из чего складывается задержка LLM API, как измерить TTFT и скорость генерации на своём ключе и что сокращает ожидание: стриминг, кэш, короткий вывод.

Стриминг ответов Claude через SSE: код на TypeScript и Python

Как читать потоковый ответ Claude по SSE через Relay: формат событий Chat Completions и Messages, разбор на TypeScript и Python, ошибки в потоке.