К содержимому
Блог

Ошибка 429 в LLM API: как работать с Retry-After

Ошибка 429 в LLM API: как работать с Retry-After

HTTP 429 означает, что сервер временно не готов принять запрос в текущем режиме. В Relay такой статус может сопровождаться кодом rate_limited, pool_exhausted или concurrency_limit. Причину определяет тело ошибки, а время ожидания задаёт заголовок Retry-After.

Коротко

  • Прочитайте статус, error.code, request_id и Retry-After.

  • Не повторяйте запрос раньше времени из заголовка.

  • Ограничьте параллелизм своего приложения, если видите concurrency_limit.

Сначала сохраните контекст ошибки

Не логируйте API-ключ и полный пользовательский текст. Для диагностики достаточно времени, маршрута, идентификатора модели, HTTP-статуса, кода ошибки и request_id. Эти данные позволяют найти событие в журнале запросов и понять, относится ли проблема к лимиту ключа, конкуренции или состоянию пула.

Retry-After приходит для ответов 429, 502 и 503 и содержит целое число секунд от 1 до 60. Если заголовка нет, не подставляйте выдуманную длительность: разберите код ошибки по документации ошибок.

Пример повторной попытки в Node.js

ts
const response = await fetch('https://relay-llm.ru/v1/chat/completions', {
  method: 'POST',
  headers: {
    Authorization: `Bearer ${process.env.RELAY_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    model: process.env.RELAY_MODEL,
    messages: [{ role: 'user', content: 'Короткий вопрос' }],
  }),
})

if (response.status === 429) {
  const seconds = Number(response.headers.get('retry-after'))
  if (Number.isInteger(seconds) && seconds >= 1 && seconds <= 60) {
    await new Promise((resolve) => setTimeout(resolve, seconds * 1000))
  }
}

Этот фрагмент показывает чтение заголовка. В приложении добавьте ограничение на число попыток, отмену по таймауту пользователя и защиту от одновременного запуска повторов для одной задачи.

Чем отличаются причины 429

rate_limited говорит о лимите запросов. Посмотрите параметры ключа через GET https://relay-llm.ru/v1/key и уменьшите темп. concurrency_limit указывает на слишком много одновременных запросов, поэтому нужна очередь или семафор в приложении. pool_exhausted требует ожидания по Retry-After и проверки статуса повторной попытки.

Не повторяйте автоматически ошибки авторизации, доступа, баланса и неверного запроса. Их причина не исчезнет после паузы. Полный список кодов и признак x-should-retry приведены в справочнике ошибок.

Потоковые запросы требуют отдельной защиты

При stream: true не запускайте второй запрос только потому, что пользователь увидел неполный текст. Сначала определите, были ли получены байты ответа, сохраните request_id и примените правила retry из документации. Иначе приложение может показать два ответа на одну задачу.

Для потокового варианта используйте руководство streaming, а перед изменением лимитов ключа проверьте его параметры в кабинете.

Нужно ли всегда ждать Retry-After?

Да, если заголовок получен с ответом, который вы собираетесь повторить. Он задаёт минимальную паузу перед новой попыткой.

Можно ли повторять 401 или 403?

Нет. Проверьте ключ и доступ к модели, затем исправьте настройки до нового вызова.

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.