LLM API в Node.js: потоковый ответ через Relay
Потоковый ответ нужен, когда интерфейс показывает текст по частям. Ключ остаётся на сервере Node.js. Браузер обращается к вашему backend, а не к https://relay-llm.ru/v1 напрямую.
Коротко
Для OpenAI-compatible вызова используйте
https://relay-llm.ru/v1.Включите
stream: trueв запросе Chat Completions.Завершите чтение потока, даже если пользователь перестал смотреть страницу.
Подготовьте серверный вызов
Передайте секрет через окружение процесса. Модель выбирайте в каталоге, затем укажите её id в RELAY_MODEL. Пример использует встроенный fetch серверного runtime и выводит входящие SSE-события без передачи ключа браузеру.
const response = await fetch('https://relay-llm.ru/v1/chat/completions', {
method: 'POST',
headers: {
Authorization: `Bearer ${process.env.RELAY_API_KEY}`,
'Content-Type': 'application/json',
},
body: JSON.stringify({
model: process.env.RELAY_MODEL,
messages: [{ role: 'user', content: 'Объясни, как работает SSE.' }],
stream: true,
stream_options: { include_usage: true },
}),
})
if (!response.ok || response.body === null) throw new Error(`HTTP ${response.status}`)
const reader = response.body.pipeThrough(new TextDecoderStream()).getReader()
for (;;) {
const { done, value } = await reader.read()
if (done) break
if (value) {
process.stdout.write(value)
}
}stream_options.include_usage добавляет usage в финальное событие OpenAI-compatible потока. Пример выводит сырые SSE-события. В прикладном обработчике разбирайте строки data: и не считайте каждую порцию готовым текстом.
Не помещайте такой вызов в код, который попадает в клиентский bundle. Даже переменная окружения с публичным префиксом не подходит для API-ключа.
Отдайте поток браузеру
Ваш сервер может преобразовать входящие SSE-события в формат интерфейса. При обрыве соединения клиента отмените исходящий запрос средствами своего runtime и не записывайте частичный текст как готовый ответ. Логика отмены относится к вашему приложению, а поля запросов Relay остаются прежними.
Перед включением потока выполните обычный запрос с тем же model. Так проще увидеть ошибку идентификатора или авторизации. Поля Chat Completions перечислены в документации API, примеры событий есть в руководстве streaming.
Что делать при ошибке во время потока
Не повторяйте автоматически каждое оборванное соединение. Сначала сохраните HTTP-статус, код и request_id, если они уже получены. Для ответов с 429, 502 и 503 сверяйте заголовок Retry-After и признак x-should-retry. Справочник ошибок разделяет ошибки, которые можно повторить, и ошибки запроса или доступа.
Нужно ли передавать ключ из браузера?
Нет. Ключ хранится в серверном окружении, а браузер общается с вашим backend.
Можно ли использовать поток с любой моделью?
Сначала проверьте карточку модели в каталоге и сделайте короткий запрос без потока.