К содержимому
Блог

LLM API в Node.js: потоковый ответ через Relay

LLM API в Node.js: потоковый ответ через Relay

Потоковый ответ нужен, когда интерфейс показывает текст по частям. Ключ остаётся на сервере Node.js. Браузер обращается к вашему backend, а не к https://relay-llm.ru/v1 напрямую.

Коротко

  • Для OpenAI-compatible вызова используйте https://relay-llm.ru/v1.

  • Включите stream: true в запросе Chat Completions.

  • Завершите чтение потока, даже если пользователь перестал смотреть страницу.

Подготовьте серверный вызов

Передайте секрет через окружение процесса. Модель выбирайте в каталоге, затем укажите её id в RELAY_MODEL. Пример использует встроенный fetch серверного runtime и выводит входящие SSE-события без передачи ключа браузеру.

ts
const response = await fetch('https://relay-llm.ru/v1/chat/completions', {
  method: 'POST',
  headers: {
    Authorization: `Bearer ${process.env.RELAY_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    model: process.env.RELAY_MODEL,
    messages: [{ role: 'user', content: 'Объясни, как работает SSE.' }],
    stream: true,
    stream_options: { include_usage: true },
  }),
})

if (!response.ok || response.body === null) throw new Error(`HTTP ${response.status}`)

const reader = response.body.pipeThrough(new TextDecoderStream()).getReader()
for (;;) {
  const { done, value } = await reader.read()
  if (done) break
  if (value) {
    process.stdout.write(value)
  }
}

stream_options.include_usage добавляет usage в финальное событие OpenAI-compatible потока. Пример выводит сырые SSE-события. В прикладном обработчике разбирайте строки data: и не считайте каждую порцию готовым текстом.

Не помещайте такой вызов в код, который попадает в клиентский bundle. Даже переменная окружения с публичным префиксом не подходит для API-ключа.

Отдайте поток браузеру

Ваш сервер может преобразовать входящие SSE-события в формат интерфейса. При обрыве соединения клиента отмените исходящий запрос средствами своего runtime и не записывайте частичный текст как готовый ответ. Логика отмены относится к вашему приложению, а поля запросов Relay остаются прежними.

Перед включением потока выполните обычный запрос с тем же model. Так проще увидеть ошибку идентификатора или авторизации. Поля Chat Completions перечислены в документации API, примеры событий есть в руководстве streaming.

Что делать при ошибке во время потока

Не повторяйте автоматически каждое оборванное соединение. Сначала сохраните HTTP-статус, код и request_id, если они уже получены. Для ответов с 429, 502 и 503 сверяйте заголовок Retry-After и признак x-should-retry. Справочник ошибок разделяет ошибки, которые можно повторить, и ошибки запроса или доступа.

Нужно ли передавать ключ из браузера?

Нет. Ключ хранится в серверном окружении, а браузер общается с вашим backend.

Можно ли использовать поток с любой моделью?

Сначала проверьте карточку модели в каталоге и сделайте короткий запрос без потока.

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.