Как ограничить параллельные запросы к LLM API
При росте нагрузки ограничьте количество одновременно выполняющихся запросов в приложении. Добавьте ограниченную очередь и срок ожидания. Не отправляйте все накопленные задачи разом после первой успешной попытки: это создаёт новый всплеск нагрузки.
Разделите очередь и выполнение
У задачи есть время ожидания в очереди и время вызова API. Учитывайте оба срока. Если пользователь уже отменил операцию, нет смысла запускать её через несколько минут с сохранённым старым контекстом.
Задайте максимальный размер очереди. При переполнении верните понятный отказ или предложите выполнить задачу позже. Не скрывайте неограниченный список ожидающих запросов в памяти: приложение может исчерпать ресурсы ещё до обращения к Relay.
Выберите параллельность по измерениям
Начните с небольшой нагрузки, измерьте длительность и долю ошибок на вашей модели. Затем увеличивайте число активных запросов постепенно. Универсальной безопасной цифры для всех моделей и длин контекста нет.
Актуальные ограничения Relay смотрите в руководстве лимитов и настройках ключа. Лимит вашего процесса может быть ниже лимита API, если приложение имеет собственные ограничения времени, памяти или бюджета.
Повтор должен снова пройти через очередь
Повторная попытка не должна обходить ограничитель параллельности. Иначе при отказах каждая задача создаст дополнительные активные запросы и ухудшит ситуацию.
При 429 учитывайте причину и Retry-After, если он присутствует. Используйте ограниченный backoff со случайным разбросом, максимальным числом попыток и общим сроком задачи. Правила повторов разных кодов доступны в документации ошибок.
Учтите поток и фоновые процессы
Потоковый вызов занимает слот до завершения или отмены сетевой операции. Первый фрагмент текста не освобождает ресурс. Фоновый worker и web-процесс должны учитывать общую нагрузку приложения, даже если каждый имеет свою очередь.
Записывайте идентификатор задачи, номер попытки, модель и request_id без секретов. Сопоставляйте их с журналом Relay. Если растёт время в очереди, а API отвечает нормально, сначала исправляйте распределение нагрузки в приложении; смена ключа сама по себе очередь не разгрузит.