Ошибка 429 в LLM API: как работать с Retry-After
HTTP 429 означает, что сервер временно не готов принять запрос в текущем режиме. В Relay такой статус может сопровождаться кодом rate_limited, pool_exhausted или concurrency_limit. Причину определяет тело ошибки, а время ожидания задаёт заголовок Retry-After.
Коротко
Прочитайте статус,
error.code,request_idиRetry-After.Не повторяйте запрос раньше времени из заголовка.
Ограничьте параллелизм своего приложения, если видите
concurrency_limit.
Сначала сохраните контекст ошибки
Не логируйте API-ключ и полный пользовательский текст. Для диагностики достаточно времени, маршрута, идентификатора модели, HTTP-статуса, кода ошибки и request_id. Эти данные позволяют найти событие в журнале запросов и понять, относится ли проблема к лимиту ключа, конкуренции или состоянию пула.
Retry-After приходит для ответов 429, 502 и 503 и содержит целое число секунд от 1 до 60. Если заголовка нет, не подставляйте выдуманную длительность: разберите код ошибки по документации ошибок.
Пример повторной попытки в Node.js
const response = await fetch('https://relay-llm.ru/v1/chat/completions', {
method: 'POST',
headers: {
Authorization: `Bearer ${process.env.RELAY_API_KEY}`,
'Content-Type': 'application/json',
},
body: JSON.stringify({
model: process.env.RELAY_MODEL,
messages: [{ role: 'user', content: 'Короткий вопрос' }],
}),
})
if (response.status === 429) {
const seconds = Number(response.headers.get('retry-after'))
if (Number.isInteger(seconds) && seconds >= 1 && seconds <= 60) {
await new Promise((resolve) => setTimeout(resolve, seconds * 1000))
}
}Этот фрагмент показывает чтение заголовка. В приложении добавьте ограничение на число попыток, отмену по таймауту пользователя и защиту от одновременного запуска повторов для одной задачи.
Чем отличаются причины 429
rate_limited говорит о лимите запросов. Посмотрите параметры ключа через GET https://relay-llm.ru/v1/key и уменьшите темп. concurrency_limit указывает на слишком много одновременных запросов, поэтому нужна очередь или семафор в приложении. pool_exhausted требует ожидания по Retry-After и проверки статуса повторной попытки.
Не повторяйте автоматически ошибки авторизации, доступа, баланса и неверного запроса. Их причина не исчезнет после паузы. Полный список кодов и признак x-should-retry приведены в справочнике ошибок.
Потоковые запросы требуют отдельной защиты
При stream: true не запускайте второй запрос только потому, что пользователь увидел неполный текст. Сначала определите, были ли получены байты ответа, сохраните request_id и примените правила retry из документации. Иначе приложение может показать два ответа на одну задачу.
Для потокового варианта используйте руководство streaming, а перед изменением лимитов ключа проверьте его параметры в кабинете.
Нужно ли всегда ждать Retry-After?
Да, если заголовок получен с ответом, который вы собираетесь повторить. Он задаёт минимальную паузу перед новой попыткой.
Можно ли повторять 401 или 403?
Нет. Проверьте ключ и доступ к модели, затем исправьте настройки до нового вызова.