Юнит-экономика LLM-функции: сколько стоит один пользователь
Себестоимость LLM-функции на одного пользователя равна сумме стоимости всех его вызовов за месяц. Считайте её по сессии, а не по запросу, и смотрите на перцентили: среднее прячет тяжёлых пользователей, а убыток почти всегда создают они.
Коротко
Единица расчёта: сессия или задача пользователя целиком, вместе с повторами.
Формула складывается из четырёх частей цены: вход, запись кэша, чтение кэша, выход.
Данные берутся из
usageответа и из CSV журнала запросов, связка идёт поrequest_id.Тариф проверяйте на 95-м перцентиле, а не на среднем.
Почему считать надо по сессии, а не по запросу?
Цена одного вызова хорошо известна и почти ничего не говорит. Пользователь делает за сессию несколько вызовов, и каждый следующий в диалоге несёт историю предыдущих. Агентная задача раскладывается на десяток вызовов, о которых человек не знает. Если умножить цену одного вызова на число пользователей, получится число, которое не совпадёт со счётом ни в одном месяце.
Единицей расчёта поэтому служит сессия: всё, что приложение отправило моделям, пока пользователь решал одну задачу. Повторы после ошибок входят в сессию: повтор уходит отдельным запросом со своим списанием, а оно зависит от исхода этого запроса.
Какая формула нужна?
Три строки, ничего сложного:
C_вызова = (n_вход × p_вход + n_запись × p_запись + n_чтение × p_чтение + n_выход × p_выход) / 1 000 000
C_сессии = сумма C_вызова по всем вызовам сессии, включая повторы
C_месяца = сумма C_сессии по всем сессиям пользователя за месяцЗдесь n обозначает токены части цены из usage, а p ставку за миллион токенов из карточки модели. Ставки меняются отдельно от вашего приложения, поэтому не зашивайте их в код: читайте из GET /v1/models и считайте на дату расчёта. В ответе метода цена дана за один токен, в карточке за миллион, не перепутайте единицы. Сами числа токенов приходят в ответе каждого запроса (поля описаны в документации Chat Completions и Messages). В потоковом режиме добавьте stream_options.include_usage, иначе расход в потоке вы не увидите, хотя он учтён.
Как выглядит разброс между пользователями?
Покажем на условных числах, чтобы форма была видна. Пример: ставки 2 условные единицы за миллион токенов входа и 10 за миллион выхода, кэша нет, внутри сессии вход считаем средним на вызов.
| Профиль | Сессий в месяц | Вызовов в сессии | Вход / выход на вызов | Вызов, у. е. | Месяц, у. е. |
|---|---|---|---|---|---|
| Редкий | 2 | 3 | 2000 / 300 | 0,007 | 0,042 |
| Обычный | 20 | 6 | 4000 / 500 | 0,013 | 1,56 |
| Тяжёлый | 60 | 15 | 8000 / 800 | 0,024 | 21,6 |
Цена вызова различается у крайних профилей в три с лишним раза, цена месяца в пятьсот с лишним: сессий больше, вызовов в каждой больше, и сам вызов тяжелее. Среднее по трём профилям составит около 7,7 единиц, и на него не похож ни один живой пользователь. Цена, подобранная под среднее около 7,7, окажется ниже затрат на тяжёлом профиле и выше затрат на двух остальных.
Откуда взять данные?
Нужны три источника, и все они есть без дополнительных систем.
usageв ответе. Токены по частям цены: их достаточно, чтобы пересчитать вызов по формуле. Число входных токенов можно узнать заранее методомcount_tokens, но стоимость считайте поusage: подсчёт даёт только вход, а иногда лишь оценку.Журнал запросов. В журнале видны время, модель, ключ, токены, стоимость и статус; в деталях запроса стоимость разложена по составляющим. Выгрузка в CSV отдаёт до 100 000 строк с теми же фильтрами. Колонки:
request_id,occurred_at,key_prefix,model,status,input_uncached,cache_read,cache_write_5m,cache_write_1h,output,charge_usdи другие.Ваши собственные логи. Идентификатора пользователя или сессии в журнале нет, и тексты запросов Relay не хранит. Сохраняйте
x-request-idиз каждого ответа рядом с идентификатором своей сессии и связывайте по нему.
Ниже скрипт, который собирает стоимость по сессиям и печатает медиану, 95-й перцентиль и максимум. Файл sessions.csv ваш: две колонки, request_id и session_id.
import csv
import statistics
from collections import defaultdict
session_of = {}
with open("sessions.csv", newline="", encoding="utf-8") as f:
for row in csv.DictReader(f):
session_of[row["request_id"]] = row["session_id"]
cost = defaultdict(float)
with open("requests.csv", newline="", encoding="utf-8") as f:
for row in csv.DictReader(f):
session = session_of.get(row["request_id"])
if session:
cost[session] += float(row["charge_usd"])
values = sorted(cost.values())
if len(values) < 2:
raise SystemExit("для перцентилей нужно хотя бы две сессии")
cuts = statistics.quantiles(values, n=100, method="inclusive")
print("медиана", round(cuts[49], 4), "p95", round(cuts[94], 4), "максимум", round(values[-1], 4))Записи о запросах хранятся 90 дней (сроки перечислены на странице безопасности), поэтому выгрузку и расчёт стоит повторять каждый месяц.
Какие три вопроса задать данным?
Когда выгрузка и сессии сведены, поставьте три вопроса, и ответы покажут, где утекает маржа.
Какую долю суммы дают самые дорогие сессии? Отсортируйте сессии по стоимости и посмотрите вклад верхних пяти процентов. Чем он больше, тем хуже работает плоская цена: небольшая группа аккаунтов даёт основной объём токенов, а остальные оплачивают её своим тарифом.
Сколько ушло впустую? Сложите charge_usd по строкам со статусом ошибки и по повторным вызовам внутри сессий: это цена сбоев. Часть неудачных попыток не списывается (ошибка до первого байта ответа модели), часть списывается по полученному, поэтому считайте по реальным суммам, а не по числу ошибок. Метрика продукта видит только удачный результат.
Растёт ли цена вызова внутри сессии? Сравните input_uncached первого и последнего вызова одной длинной сессии. Бот поддержки с полной историей в каждом сообщении платит за неё снова и снова, и длинная сессия может стоить в разы больше короткой при том же числе вопросов.
Есть и мелкая поправка. В разбивке стоимости встречается строка «Минимальное списание и денежная корректировка». У крупных запросов её не видно, у очень коротких она заметна, поэтому на мелких вызовах сверяйте формулу с реальной суммой из журнала.
Как заложить это в цену тарифа?
Мы бы закладывали в цену 95-й перцентиль платного пользователя, а не среднее: хвост всё равно придёт, лучше заранее знать его цену. Для бесплатного плана вашего продукта поставили бы жёсткий потолок на ключе: выручки, которая покроет хвост, у него нет. При большом разбросе добавьте в тариф квоту: включённое число сессий за месяц, а сверх него отдельная плата или переход на старшую ступень.
Заложите запас на изменение ставок: каталог живёт отдельно от вашего приложения, а маржа впритык к сегодняшней цене исчезает при первой смене модели. И разделяйте расход по функциям: ключ на функцию, а не один общий. Аналитика по дням показывает расход по модели или по ключу, и тогда видно, какая функция съедает бюджет. Приёмы снижения расхода собраны в статье про семь приёмов, а общий порядок оценки стоимости описан в базовой статье о стоимости запросов. Что стоит логировать рядом с запросами, написано в материале про request_id и журналы.
Можно ли считать по среднему расходу на пользователя?
Для оценки порядка величины можно, для цены тарифа нет. Среднее скрывает хвост, а хвост определяет, зарабатывает функция или теряет. Берите медиану и 95-й перцентиль вместе: расхождение между ними показывает, насколько скошено использование.
Как учесть кэш в формуле?
Добавьте в формулу части чтения и записи кэша с их ставками, как в первой строке расчёта. В деталях запроса в журнале они выведены отдельными строками, там же видно, сколько токенов пошло по какой ставке.
Где взять число токенов для планирования до запуска?
Метод POST /v1/messages/count_tokens считает входные токены без списания денег. Для больших тел он может вернуть оценку, это видно по заголовку x-token-count-estimated. Для выхода возьмите медианную длину ответа из журнала похожей функции. Фактическую стоимость всё равно считайте по usage реальных ответов.