Как оценивать стоимость запросов к LLM API
Расход на LLM API нельзя надёжно оценить по числу запросов. Один вызов отличается от другого длиной входа, объёмом ответа, кэшированием и выбранным маршрутом. Для планирования нужны текущие цены каталога и usage реальных ответов.
Коротко
Берите цены из каталога или
GET /v1/modelsперед расчётом.Сохраняйте usage из ответов и сопоставляйте его с
request_id.Не копируйте цены в код: каталог меняется отдельно от приложения.
Какие части учитываются
Для текстовой модели в каталоге доступны поля цены для входа и вывода. Если модель и протокол поддерживают кэширование, там же могут быть отдельные компоненты чтения и записи кэша. У изображений и видео единицы другие, поэтому их не стоит подставлять в формулу текстового запроса.
Смотрите актуальную структуру ответа на странице моделей API. Числа в статье быстро устаревают, поэтому Relay показывает их в карточке модели и публичном снимке каталога.
Почему вход и выход считают отдельно
Входом называют всё, что приложение отправило модели: инструкции, историю диалога, найденные документы, результаты инструментов, изображения. Выход это то, что модель сгенерировала. У текстовых моделей каталога ставка выхода обычно выше ставки входа, а во сколько раз, у каждой модели своё: обе цифры видны в карточке. У моделей с рассуждением токены рассуждений входят в выход и оплачиваются по его ставке, в деталях запроса они показаны справочной строкой «Рассуждения».
Параметр max_tokens цену не задаёт. Он ограничивает длину ответа, а оплачивается то, что сгенерировано. Но до ответа шлюз резервирует деньги под верхнюю оценку запроса, и без max_tokens она берётся по максимальной длине ответа модели из каталога. Лишний запас занимает баланс и остаток лимита ключа, поэтому ставьте потолок по реальной длине ответа. После ответа разница между резервом и фактическим расходом возвращается.
Четыре типовые нагрузки как формулы
Не берите чужие усреднённые цифры. Опишите свою нагрузку переменными и подставьте числа из журнала. Здесь s обозначает размер инструкций, q вопрос пользователя, o длину ответа, d размер одного найденного фрагмента, K число фрагментов, p ставку части цены. Все размеры в токенах, деление на миллион в формулах опущено.
| Нагрузка | Что идёт во вход | Что растёт | Главная переменная |
|---|---|---|---|
| Чат поддержки | инструкции, история диалога, найденные ответы базы | история с каждой репликой | число реплик в сессии |
| Кодинг-агент | контекст репозитория, дифф, результаты инструментов | контекст с каждым шагом | число шагов в прогоне |
| Вопросы по базе знаний | инструкции, K фрагментов, вопрос | ничего, если K фиксировано | K × d |
| Классификация записей | инструкции со списком меток, короткий текст | ничего | число записей |
вопрос по базе: C = (s + K × d + q) × p_вход + o × p_выход
запись: C = (s + t) × p_вход + m × p_выход
реплика чата i: C_i = (s + h_i) × p_вход + o × p_выход, где h_i растёт на (q + o) с каждой репликойВ классификации t это длина текста записи, m короткая метка на выходе. Для чата и агента вход растёт от шага к шагу, поэтому считайте их суммой по реплике или шагу, а не умножением одной цены на число вызовов. Кэш добавляет в формулу части чтения и записи с их ставками, как его измерять, описано в конце статьи.
Как получить данные для оценки
Сначала возьмите из каталога один id и его текущие цены. Затем выполните несколько типовых запросов приложения с отдельным ключом. Сохраните usage из каждого ответа, request_id, название сценария и время запуска. Этого достаточно, чтобы сравнивать варианты по одинаковому набору входов.
Для OpenAI-compatible Chat Completions usage содержит счётчики токенов. В потоковом режиме добавьте stream_options.include_usage, чтобы получить usage в финальном событии. Полный пример есть в руководстве streaming.
От цены вызова к цене пользователя
Цена вызова и цена пользователя связаны числом вызовов: C_пользователя = вызовов за месяц × C_вызова. Пример на условном числе: при цене вызова 0,013 у пользователя с 20 вызовами месяц обходится в 0,26, а у пользователя с 500 вызовами в 6,5. Поэтому из журнала нужны две величины: сколько стоит вызов и как число вызовов распределено между пользователями. Разведите части продукта по разным ключам, и расход каждой функции будет виден отдельно.
Мы бы начали оценку с одной таблицы: четыре строки выше с вашими числами, снятыми из журнала за неделю. Калькулятор с усреднёнными чужими цифрами даёт порядок величины, но не покажет, какая переменная у вас главная.
Проверьте fallback
У модели может быть pricing_max, когда резервный маршрут дороже основного. Если ваша конфигурация допускает fallback, планируйте запас по этому полю и заранее выберите подходящую политику ключа. Документация резервных маршрутов описывает any, not_pricier и off.
Не считайте сумму так, будто все попытки дают одинаковый ответ. В отчёте разделяйте обычные запросы, повторные попытки и кэшированные вызовы. Это показывает, что именно изменило расход.
Где сверять фактические данные
После тестовой серии откройте журнал запросов. Ищите запись по request_id, а не по тексту запроса. Для ключа можно получить баланс и его лимиты через GET https://relay-llm.ru/v1/key с заголовком Authorization: Bearer.
Статья о prompt caching поможет отдельно измерить кэш. Если API вернул ошибку, не добавляйте её в успешную серию: сначала разберите ответ по справочнику ошибок.
Где взять цену модели?
Откройте её карточку в каталоге или прочитайте поле pricing в ответе GET /v1/models. Там цена дана строкой в долларах за один токен: для сравнения с карточкой умножьте её на миллион. Если у модели есть резервный маршрут дороже основного, рядом лежит pricing_max.
Можно ли заранее зафиксировать цену в коде?
Нет. Каталог меняется отдельно от вашего приложения, и цена в коде устареет молча. Сохраняйте идентификатор модели, а ставки читайте из каталога в момент расчёта и записывайте рядом с результатом дату чтения: так старый расчёт можно будет проверить.
Входные токены считаются один раз за диалог?
Нет. Каждый запрос оплачивает свой вход целиком, включая всю историю, которую вы в нём отправили. Поэтому длинный диалог дорожает с каждой репликой, даже если ответы короткие. Сократить вход помогают скользящее окно истории, краткая выжимка старых реплик и кэш повторяющегося начала.
Влияет ли max_tokens на цену запроса?
Напрямую нет, платят за сгенерированные токены. Параметр ограничивает худший случай и размер резерва, который шлюз удерживает до ответа, а разницу после ответа возвращает. Если параметр не задан, резерв строится по максимальной длине ответа модели, и баланс или лимит ключа могут отклонить запрос, который по факту стоил бы немного.