К содержимому
Блог

Как оценивать стоимость запросов к LLM API

Как оценивать стоимость запросов к LLM API

Расход на LLM API нельзя надёжно оценить по числу запросов. Один вызов отличается от другого длиной входа, объёмом ответа, кэшированием и выбранным маршрутом. Для планирования нужны текущие цены каталога и usage реальных ответов.

Коротко

  • Берите цены из каталога или GET /v1/models перед расчётом.

  • Сохраняйте usage из ответов и сопоставляйте его с request_id.

  • Не копируйте цены в код: каталог меняется отдельно от приложения.

Какие части учитываются

Для текстовой модели в каталоге доступны поля цены для входа и вывода. Если модель и протокол поддерживают кэширование, там же могут быть отдельные компоненты чтения и записи кэша. У изображений и видео единицы другие, поэтому их не стоит подставлять в формулу текстового запроса.

Смотрите актуальную структуру ответа на странице моделей API. Числа в статье быстро устаревают, поэтому Relay показывает их в карточке модели и публичном снимке каталога.

Почему вход и выход считают отдельно

Входом называют всё, что приложение отправило модели: инструкции, историю диалога, найденные документы, результаты инструментов, изображения. Выход это то, что модель сгенерировала. У текстовых моделей каталога ставка выхода обычно выше ставки входа, а во сколько раз, у каждой модели своё: обе цифры видны в карточке. У моделей с рассуждением токены рассуждений входят в выход и оплачиваются по его ставке, в деталях запроса они показаны справочной строкой «Рассуждения».

Параметр max_tokens цену не задаёт. Он ограничивает длину ответа, а оплачивается то, что сгенерировано. Но до ответа шлюз резервирует деньги под верхнюю оценку запроса, и без max_tokens она берётся по максимальной длине ответа модели из каталога. Лишний запас занимает баланс и остаток лимита ключа, поэтому ставьте потолок по реальной длине ответа. После ответа разница между резервом и фактическим расходом возвращается.

Четыре типовые нагрузки как формулы

Не берите чужие усреднённые цифры. Опишите свою нагрузку переменными и подставьте числа из журнала. Здесь s обозначает размер инструкций, q вопрос пользователя, o длину ответа, d размер одного найденного фрагмента, K число фрагментов, p ставку части цены. Все размеры в токенах, деление на миллион в формулах опущено.

НагрузкаЧто идёт во входЧто растётГлавная переменная
Чат поддержкиинструкции, история диалога, найденные ответы базыистория с каждой репликойчисло реплик в сессии
Кодинг-агентконтекст репозитория, дифф, результаты инструментовконтекст с каждым шагомчисло шагов в прогоне
Вопросы по базе знанийинструкции, K фрагментов, вопросничего, если K фиксированоK × d
Классификация записейинструкции со списком меток, короткий текстничегочисло записей
text
вопрос по базе:  C = (s + K × d + q) × p_вход + o × p_выход
запись:          C = (s + t) × p_вход + m × p_выход
реплика чата i:  C_i = (s + h_i) × p_вход + o × p_выход,  где h_i растёт на (q + o) с каждой репликой

В классификации t это длина текста записи, m короткая метка на выходе. Для чата и агента вход растёт от шага к шагу, поэтому считайте их суммой по реплике или шагу, а не умножением одной цены на число вызовов. Кэш добавляет в формулу части чтения и записи с их ставками, как его измерять, описано в конце статьи.

Как получить данные для оценки

Сначала возьмите из каталога один id и его текущие цены. Затем выполните несколько типовых запросов приложения с отдельным ключом. Сохраните usage из каждого ответа, request_id, название сценария и время запуска. Этого достаточно, чтобы сравнивать варианты по одинаковому набору входов.

Для OpenAI-compatible Chat Completions usage содержит счётчики токенов. В потоковом режиме добавьте stream_options.include_usage, чтобы получить usage в финальном событии. Полный пример есть в руководстве streaming.

От цены вызова к цене пользователя

Цена вызова и цена пользователя связаны числом вызовов: C_пользователя = вызовов за месяц × C_вызова. Пример на условном числе: при цене вызова 0,013 у пользователя с 20 вызовами месяц обходится в 0,26, а у пользователя с 500 вызовами в 6,5. Поэтому из журнала нужны две величины: сколько стоит вызов и как число вызовов распределено между пользователями. Разведите части продукта по разным ключам, и расход каждой функции будет виден отдельно.

Мы бы начали оценку с одной таблицы: четыре строки выше с вашими числами, снятыми из журнала за неделю. Калькулятор с усреднёнными чужими цифрами даёт порядок величины, но не покажет, какая переменная у вас главная.

Проверьте fallback

У модели может быть pricing_max, когда резервный маршрут дороже основного. Если ваша конфигурация допускает fallback, планируйте запас по этому полю и заранее выберите подходящую политику ключа. Документация резервных маршрутов описывает any, not_pricier и off.

Не считайте сумму так, будто все попытки дают одинаковый ответ. В отчёте разделяйте обычные запросы, повторные попытки и кэшированные вызовы. Это показывает, что именно изменило расход.

Где сверять фактические данные

После тестовой серии откройте журнал запросов. Ищите запись по request_id, а не по тексту запроса. Для ключа можно получить баланс и его лимиты через GET https://relay-llm.ru/v1/key с заголовком Authorization: Bearer.

Статья о prompt caching поможет отдельно измерить кэш. Если API вернул ошибку, не добавляйте её в успешную серию: сначала разберите ответ по справочнику ошибок.

Где взять цену модели?

Откройте её карточку в каталоге или прочитайте поле pricing в ответе GET /v1/models. Там цена дана строкой в долларах за один токен: для сравнения с карточкой умножьте её на миллион. Если у модели есть резервный маршрут дороже основного, рядом лежит pricing_max.

Можно ли заранее зафиксировать цену в коде?

Нет. Каталог меняется отдельно от вашего приложения, и цена в коде устареет молча. Сохраняйте идентификатор модели, а ставки читайте из каталога в момент расчёта и записывайте рядом с результатом дату чтения: так старый расчёт можно будет проверить.

Входные токены считаются один раз за диалог?

Нет. Каждый запрос оплачивает свой вход целиком, включая всю историю, которую вы в нём отправили. Поэтому длинный диалог дорожает с каждой репликой, даже если ответы короткие. Сократить вход помогают скользящее окно истории, краткая выжимка старых реплик и кэш повторяющегося начала.

Влияет ли max_tokens на цену запроса?

Напрямую нет, платят за сгенерированные токены. Параметр ограничивает худший случай и размер резерва, который шлюз удерживает до ответа, а разницу после ответа возвращает. Если параметр не задан, резерв строится по максимальной длине ответа модели, и баланс или лимит ключа могут отклонить запрос, который по факту стоил бы немного.

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.