Потоковый ответ SSE API: события и ошибки потока
Ответ приходит по частям, пока модель его пишет. Удобно для чата и длинных ответов.
Как включить поток
Добавьте в тело "stream": true. Ответ придёт с типом text/: каждое событие это строка data: с фрагментом JSON, события разделены пустой строкой.
cURL
curl -N https://relay-llm.ru/v1/chat/completions \
-H "Authorization: Bearer $RELAY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "MODEL_ID",
"stream": true,
"stream_options": {
"include_usage": true
},
"messages": [
{
"role": "user",
"content": "Say hello in one sentence."
}
]
}'Python
import os
from openai import OpenAI
client = OpenAI(base_url="https://relay-llm.ru/v1", api_key=os.environ["RELAY_API_KEY"])
stream = client.chat.completions.create(
model="MODEL_ID",
messages=[{"role": "user", "content": "Say hello in one sentence."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print(f"\n{chunk.usage.total_tokens} tokens")Вместо MODEL_ID подставьте идентификатор модели из каталога. Примеры читают ключ из переменной окружения RELAY_API_KEY, адрес API уже подставлен.
Формат событий
Текст приходит в choices[0].delta.content. Поток заканчивается строкой data: [DONE]. Строки, которые начинаются с двоеточия, служебные: клиент их пропускает.
data: {"id":"chatcmpl-123","object":"chat.completion.chunk","model":"MODEL_ID","choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"id":"chatcmpl-123","object":"chat.completion.chunk","model":"MODEL_ID","choices":[{"index":0,"delta":{"content":"lo!"},"finish_reason":"stop"}]}
data: {"id":"chatcmpl-123","object":"chat.completion.chunk","model":"MODEL_ID","choices":[],"usage":{"prompt_tokens":9,"completion_tokens":3,"total_tokens":12}}
data: [DONE]В протоколе Anthropic Messages (POST / с "stream": true) события именованные: message_start, content_block_delta, message_delta, message_stop. Расход токенов там приходит в самих событиях, stream_options не нужен.
Расход токенов в потоке
Чтобы получить расход токенов, добавьте "stream_options": {"include_usage": true}. Тогда перед [DONE] придёт фрагмент с пустым choices и заполненным usage. Шлюз запрашивает этот фрагмент для учёта расхода, но без поля в вашем запросе вырезает его из ответа. Для суммы списания используйте журнал кабинета: usage содержит счётчики токенов, а денежные поля ответа не служат расчётом суммы списания. Расход учитывается независимо от того, получили ли вы этот фрагмент.
Обрыв и ошибки
Ошибка, которая случилась до начала потока, приходит обычным JSON с HTTP-кодом, как у запроса без потока: коды описаны в статье об ошибках.
Когда ответ уже пошёл, код 200 не изменить. Сбой на этом этапе проявляется обрывом соединения или событием error в потоке, которое присылает модель.
В потоке chat completions без завершающего data: [DONE] ответ неполный. У Anthropic (/) такой строки нет: поток завершается событием message_stop.
Если вы закроете соединение раньше конца или поток оборвётся сбоем, запрос всё равно тарифицируется по расходу, который шлюз успел получить: значения, уже пришедшие от модели, берутся как есть, а недостающие или незавершённые оценивает шлюз.
- В chat completions расход приходит одним фрагментом в конце потока: если он уже пришёл, учитывается он, иначе оцениваются и вход, и отданная часть ответа.
- У Anthropic (
/) вход точный с начала потока: шлюз берёт его из событияv1/ messages message_start, а выход оценивается по отданному, пока не пришёл итог.
Оборванный поток не продолжается с места обрыва. Повтор это самостоятельный запрос, его стоимость зависит от его собственного исхода: правила списания при ошибках описаны в статье об ошибках.
Поток ограничен по времени и по скорости чтения клиентом: цифры собраны в статье о лимитах. Если поток оборван из-за такого предела, списание идёт по доставленному.