К содержимому

Потоковый ответ SSE API: события и ошибки потока

Ответ приходит по частям, пока модель его пишет. Удобно для чата и длинных ответов.

Как включить поток

Добавьте в тело "stream": true. Ответ придёт с типом text/event-stream: каждое событие это строка data: с фрагментом JSON, события разделены пустой строкой.

cURL

bash
curl -N https://relay-llm.ru/v1/chat/completions \
  -H "Authorization: Bearer $RELAY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MODEL_ID",
    "stream": true,
    "stream_options": {
      "include_usage": true
    },
    "messages": [
      {
        "role": "user",
        "content": "Say hello in one sentence."
      }
    ]
  }'

Python

python
import os
from openai import OpenAI

client = OpenAI(base_url="https://relay-llm.ru/v1", api_key=os.environ["RELAY_API_KEY"])

stream = client.chat.completions.create(
    model="MODEL_ID",
    messages=[{"role": "user", "content": "Say hello in one sentence."}],
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print(f"\n{chunk.usage.total_tokens} tokens")

Вместо MODEL_ID подставьте идентификатор модели из каталога. Примеры читают ключ из переменной окружения RELAY_API_KEY, адрес API уже подставлен.

Формат событий

Текст приходит в choices[0].delta.content. Поток заканчивается строкой data: [DONE]. Строки, которые начинаются с двоеточия, служебные: клиент их пропускает.

text
data: {"id":"chatcmpl-123","object":"chat.completion.chunk","model":"MODEL_ID","choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"id":"chatcmpl-123","object":"chat.completion.chunk","model":"MODEL_ID","choices":[{"index":0,"delta":{"content":"lo!"},"finish_reason":"stop"}]}

data: {"id":"chatcmpl-123","object":"chat.completion.chunk","model":"MODEL_ID","choices":[],"usage":{"prompt_tokens":9,"completion_tokens":3,"total_tokens":12}}

data: [DONE]

В протоколе Anthropic Messages (POST /v1/messages с "stream": true) события именованные: message_start, content_block_delta, message_delta, message_stop. Расход токенов там приходит в самих событиях, stream_options не нужен.

Расход токенов в потоке

Чтобы получить расход токенов, добавьте "stream_options": {"include_usage": true}. Тогда перед [DONE] придёт фрагмент с пустым choices и заполненным usage. Шлюз запрашивает этот фрагмент для учёта расхода, но без поля в вашем запросе вырезает его из ответа. Для суммы списания используйте журнал кабинета: usage содержит счётчики токенов, а денежные поля ответа не служат расчётом суммы списания. Расход учитывается независимо от того, получили ли вы этот фрагмент.

Обрыв и ошибки

Ошибка, которая случилась до начала потока, приходит обычным JSON с HTTP-кодом, как у запроса без потока: коды описаны в статье об ошибках.

Когда ответ уже пошёл, код 200 не изменить. Сбой на этом этапе проявляется обрывом соединения или событием error в потоке, которое присылает модель.

В потоке chat completions без завершающего data: [DONE] ответ неполный. У Anthropic (/v1/messages) такой строки нет: поток завершается событием message_stop.

Если вы закроете соединение раньше конца или поток оборвётся сбоем, запрос всё равно тарифицируется по расходу, который шлюз успел получить: значения, уже пришедшие от модели, берутся как есть, а недостающие или незавершённые оценивает шлюз.

  • В chat completions расход приходит одним фрагментом в конце потока: если он уже пришёл, учитывается он, иначе оцениваются и вход, и отданная часть ответа.
  • У Anthropic (/v1/messages) вход точный с начала потока: шлюз берёт его из события message_start, а выход оценивается по отданному, пока не пришёл итог.

Оборванный поток не продолжается с места обрыва. Повтор это самостоятельный запрос, его стоимость зависит от его собственного исхода: правила списания при ошибках описаны в статье об ошибках.

Поток ограничен по времени и по скорости чтения клиентом: цифры собраны в статье о лимитах. Если поток оборван из-за такого предела, списание идёт по доставленному.

Лимиты запросов

Обработка ошибок

Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key