К содержимому
Блог

Юнит-экономика LLM-функции: сколько стоит один пользователь

Юнит-экономика LLM-функции: сколько стоит один пользователь

Себестоимость LLM-функции на одного пользователя равна сумме стоимости всех его вызовов за месяц. Считайте её по сессии, а не по запросу, и смотрите на перцентили: среднее прячет тяжёлых пользователей, а убыток почти всегда создают они.

Коротко

  • Единица расчёта: сессия или задача пользователя целиком, вместе с повторами.

  • Формула складывается из четырёх частей цены: вход, запись кэша, чтение кэша, выход.

  • Данные берутся из usage ответа и из CSV журнала запросов, связка идёт по request_id.

  • Тариф проверяйте на 95-м перцентиле, а не на среднем.

Почему считать надо по сессии, а не по запросу?

Цена одного вызова хорошо известна и почти ничего не говорит. Пользователь делает за сессию несколько вызовов, и каждый следующий в диалоге несёт историю предыдущих. Агентная задача раскладывается на десяток вызовов, о которых человек не знает. Если умножить цену одного вызова на число пользователей, получится число, которое не совпадёт со счётом ни в одном месяце.

Единицей расчёта поэтому служит сессия: всё, что приложение отправило моделям, пока пользователь решал одну задачу. Повторы после ошибок входят в сессию: повтор уходит отдельным запросом со своим списанием, а оно зависит от исхода этого запроса.

Какая формула нужна?

Три строки, ничего сложного:

text
C_вызова  = (n_вход × p_вход + n_запись × p_запись + n_чтение × p_чтение + n_выход × p_выход) / 1 000 000
C_сессии  = сумма C_вызова по всем вызовам сессии, включая повторы
C_месяца  = сумма C_сессии по всем сессиям пользователя за месяц

Здесь n обозначает токены части цены из usage, а p ставку за миллион токенов из карточки модели. Ставки меняются отдельно от вашего приложения, поэтому не зашивайте их в код: читайте из GET /v1/models и считайте на дату расчёта. В ответе метода цена дана за один токен, в карточке за миллион, не перепутайте единицы. Сами числа токенов приходят в ответе каждого запроса (поля описаны в документации Chat Completions и Messages). В потоковом режиме добавьте stream_options.include_usage, иначе расход в потоке вы не увидите, хотя он учтён.

Как выглядит разброс между пользователями?

Покажем на условных числах, чтобы форма была видна. Пример: ставки 2 условные единицы за миллион токенов входа и 10 за миллион выхода, кэша нет, внутри сессии вход считаем средним на вызов.

ПрофильСессий в месяцВызовов в сессииВход / выход на вызовВызов, у. е.Месяц, у. е.
Редкий232000 / 3000,0070,042
Обычный2064000 / 5000,0131,56
Тяжёлый60158000 / 8000,02421,6

Цена вызова различается у крайних профилей в три с лишним раза, цена месяца в пятьсот с лишним: сессий больше, вызовов в каждой больше, и сам вызов тяжелее. Среднее по трём профилям составит около 7,7 единиц, и на него не похож ни один живой пользователь. Цена, подобранная под среднее около 7,7, окажется ниже затрат на тяжёлом профиле и выше затрат на двух остальных.

Откуда взять данные?

Нужны три источника, и все они есть без дополнительных систем.

  1. usage в ответе. Токены по частям цены: их достаточно, чтобы пересчитать вызов по формуле. Число входных токенов можно узнать заранее методом count_tokens, но стоимость считайте по usage: подсчёт даёт только вход, а иногда лишь оценку.

  2. Журнал запросов. В журнале видны время, модель, ключ, токены, стоимость и статус; в деталях запроса стоимость разложена по составляющим. Выгрузка в CSV отдаёт до 100 000 строк с теми же фильтрами. Колонки: request_id, occurred_at, key_prefix, model, status, input_uncached, cache_read, cache_write_5m, cache_write_1h, output, charge_usd и другие.

  3. Ваши собственные логи. Идентификатора пользователя или сессии в журнале нет, и тексты запросов Relay не хранит. Сохраняйте x-request-id из каждого ответа рядом с идентификатором своей сессии и связывайте по нему.

Ниже скрипт, который собирает стоимость по сессиям и печатает медиану, 95-й перцентиль и максимум. Файл sessions.csv ваш: две колонки, request_id и session_id.

python
import csv
import statistics
from collections import defaultdict

session_of = {}
with open("sessions.csv", newline="", encoding="utf-8") as f:
    for row in csv.DictReader(f):
        session_of[row["request_id"]] = row["session_id"]

cost = defaultdict(float)
with open("requests.csv", newline="", encoding="utf-8") as f:
    for row in csv.DictReader(f):
        session = session_of.get(row["request_id"])
        if session:
            cost[session] += float(row["charge_usd"])

values = sorted(cost.values())
if len(values) < 2:
    raise SystemExit("для перцентилей нужно хотя бы две сессии")
cuts = statistics.quantiles(values, n=100, method="inclusive")
print("медиана", round(cuts[49], 4), "p95", round(cuts[94], 4), "максимум", round(values[-1], 4))

Записи о запросах хранятся 90 дней (сроки перечислены на странице безопасности), поэтому выгрузку и расчёт стоит повторять каждый месяц.

Какие три вопроса задать данным?

Когда выгрузка и сессии сведены, поставьте три вопроса, и ответы покажут, где утекает маржа.

Какую долю суммы дают самые дорогие сессии? Отсортируйте сессии по стоимости и посмотрите вклад верхних пяти процентов. Чем он больше, тем хуже работает плоская цена: небольшая группа аккаунтов даёт основной объём токенов, а остальные оплачивают её своим тарифом.

Сколько ушло впустую? Сложите charge_usd по строкам со статусом ошибки и по повторным вызовам внутри сессий: это цена сбоев. Часть неудачных попыток не списывается (ошибка до первого байта ответа модели), часть списывается по полученному, поэтому считайте по реальным суммам, а не по числу ошибок. Метрика продукта видит только удачный результат.

Растёт ли цена вызова внутри сессии? Сравните input_uncached первого и последнего вызова одной длинной сессии. Бот поддержки с полной историей в каждом сообщении платит за неё снова и снова, и длинная сессия может стоить в разы больше короткой при том же числе вопросов.

Есть и мелкая поправка. В разбивке стоимости встречается строка «Минимальное списание и денежная корректировка». У крупных запросов её не видно, у очень коротких она заметна, поэтому на мелких вызовах сверяйте формулу с реальной суммой из журнала.

Как заложить это в цену тарифа?

Мы бы закладывали в цену 95-й перцентиль платного пользователя, а не среднее: хвост всё равно придёт, лучше заранее знать его цену. Для бесплатного плана вашего продукта поставили бы жёсткий потолок на ключе: выручки, которая покроет хвост, у него нет. При большом разбросе добавьте в тариф квоту: включённое число сессий за месяц, а сверх него отдельная плата или переход на старшую ступень.

Заложите запас на изменение ставок: каталог живёт отдельно от вашего приложения, а маржа впритык к сегодняшней цене исчезает при первой смене модели. И разделяйте расход по функциям: ключ на функцию, а не один общий. Аналитика по дням показывает расход по модели или по ключу, и тогда видно, какая функция съедает бюджет. Приёмы снижения расхода собраны в статье про семь приёмов, а общий порядок оценки стоимости описан в базовой статье о стоимости запросов. Что стоит логировать рядом с запросами, написано в материале про request_id и журналы.

Можно ли считать по среднему расходу на пользователя?

Для оценки порядка величины можно, для цены тарифа нет. Среднее скрывает хвост, а хвост определяет, зарабатывает функция или теряет. Берите медиану и 95-й перцентиль вместе: расхождение между ними показывает, насколько скошено использование.

Как учесть кэш в формуле?

Добавьте в формулу части чтения и записи кэша с их ставками, как в первой строке расчёта. В деталях запроса в журнале они выведены отдельными строками, там же видно, сколько токенов пошло по какой ставке.

Где взять число токенов для планирования до запуска?

Метод POST /v1/messages/count_tokens считает входные токены без списания денег. Для больших тел он может вернуть оценку, это видно по заголовку x-token-count-estimated. Для выхода возьмите медианную длину ответа из журнала похожей функции. Фактическую стоимость всё равно считайте по usage реальных ответов.

Создать аккаунт

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.