К содержимому

Резервные маршруты LLM API: цена и ограничения

Сейчас резервные маршруты не включены: у каждой опубликованной модели один маршрут. Ниже описано поведение после настройки резервов.

Как работает резерв

Если для модели настроено несколько маршрутов, запрос сначала идёт по основному. При его недоступности шлюз пробует следующий маршрут цепочки. Пока второго маршрута нет, отказ основного завершается ошибкой.

Шлюз переходит на резервный маршрут только до того, как модель начала отвечать. Начатый ответ на другой маршрут не переносится.

В ответе есть заголовок x-route: primary, если запрос выполнил основной маршрут, и fallback, если резервный. В журнале запросов такие запросы помечены словом «резервный».

Цена

Запрос оплачивается по цене маршрута, который его выполнил. Запасной маршрут может стоить дороже основного.

Поле pricing_max появится, если резервный маршрут будет дороже основного. Сейчас в публичном каталоге этого поля нет.

Кэш промпта не переносится между маршрутами: на резервном маршруте запись кэша оплачивается заново.

Как ограничить резерв

Резервный маршрут настраивается в параметрах ключа. Доступны три значения.

ЗначениеЧто разрешено
anyЛюбой доступный резервный маршрут. Значение по умолчанию.
not_pricierТолько резервные маршруты не дороже основного.
offЗапасных маршрутов нет: если основной недоступен, запрос получает ошибку.

Для одного запроса настройку ключа можно сузить заголовком x-fallback-policy со значением any, not_pricier или off. Заголовок только сужает правило: расширить им настройку ключа нельзя.

Параметры ключей

Резерв на балансе

Перед запросом шлюз откладывает на балансе резерв по оценке для самого дорогого допустимого маршрута, после ответа возвращает разницу с фактической ценой.

Если баланса или лимита ключа не хватает на эту сумму, шлюз проверяет только основной маршрут и отправляет запрос без резервных. Поэтому дорогой резерв не отказывает в запросе, который основной маршрут оплатить может.

Резерв и списание

Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key