Расход на AI-агентов: откуда он берётся и как поставить потолок
Счёт за агента растёт быстрее числа его шагов, потому что каждый шаг заново отправляет модели весь накопленный контекст. Одним промптом рост не остановить. Потолок ставят на ключе: отдельный ключ на агента, лимиты в долларах на день и месяц, список разрешённых моделей и проверка остатка перед запуском.
Коротко
Токены входа за прогон растут примерно как квадрат числа шагов, потому что контекст копится.
Потолок это отдельный ключ с лимитами на день, месяц и всё время. Запрос сверх лимита получает
key_limit_exceeded, деньги не списываются.Агент должен останавливаться на этой ошибке, а не повторять её, и читать остаток через
GET /v1/key.Расход по агентам видно в журнале запросов по ключу и модели.
Почему счёт агента растёт быстрее числа шагов?
API не хранит состояние диалога. Агент на каждом шаге отправляет инструкции, задачу, все прошлые ответы модели и все результаты инструментов, а затем добавляет к ним новое. Чем дальше шаг, тем тяжелее его вход.
вход_за_прогон = N × s + a × N × (N − 1) / 2Здесь N обозначает число шагов, s начальный контекст в токенах (инструкции и задача), a прирост за шаг (ответ модели и результат инструмента). Пример на условных числах, s равно 5000, a равно 1500:
| Шагов в прогоне | Токенов входа за весь прогон |
|---|---|
| 5 | 40 000 |
| 10 | 117 500 |
| 20 | 385 000 |
Шагов в четыре раза больше, а токенов входа почти в десять. Выход при этом растёт линейно, потому что не накапливается, так что у длинных прогонов расход определяет вход. Здесь помогает кэш: повторяющееся начало читается по ставке чтения кэша, а не по полной ставке входа. Дешёвым чтение становится только при условии, что префикс стабилен и запросы идут часто, иначе запись кэша съест выгоду.
Откуда берётся расход, который никто не планировал?
Помимо накопления контекста есть ещё три источника.
Повторы. Инструмент вернул ошибку, агент прочитал её и попробовал снова. Каждая итерация оплачена полностью, а в метрике видна одна задача. К этому добавляются сетевые повторы: идемпотентность запросов Relay не поддерживает, и повторная отправка считается новым запросом.
Запуски по событиям. Агент в CI срабатывает на каждый коммит или pull request, поэтому расход следует за темпом работы команды, а не за вашим бюджетом. Расход здесь прикидывается просто: число событий умножить на цену типичного прогона.
Модель сильнее нужного. Разбор логов и переписывание текста агент делает на флагманской модели, потому что выбрана одна на всё. Это решение разработчика, и его легко проглядеть, пока не откроешь разбивку по моделям.
Как поставить потолок на ключе?
Ключ в Relay это единица, к которой привязаны лимиты, история запросов и отзыв. Заведите отдельный на каждого агента и на каждое окружение, и настройте в кабинете:
Лимиты расхода в долларах. Три независимых: на всё время, на день и на месяц. Пустое поле значит, что лимита нет.
Разрешённые модели. Пустой список разрешает все. Если агенту нужны одна-две модели, оставьте только их, тогда запрос к другой получит
model_not_allowed.Запросов в минуту. Лимит ограничивает темп, а вместе с ним и скорость, с которой агент сжигает деньги.
Срок действия. Ключ для временного прогона или подрядчика закроется сам в указанную дату (UTC, включительно).
Резервный маршрут. Для фоновых агентов подойдёт «не дороже основного»: запасной маршрут может стоить дороже, а оплата идёт по цене маршрута, который ответил. Правила описаны на странице резервных маршрутов.
Все ключи аккаунта тратят общий баланс, отдельного кошелька у ключа нет: лимит ограничивает только его долю. Проверка идёт до запроса, по верхней оценке его цены. Когда оценка не помещается в остаток лимита, запрос получает ошибку key_limit_exceeded с кодом 402, и ничего не списывается. Пополнение баланса лимит ключа не восстанавливает: поднимите лимит или дождитесь нового дня или месяца.
Величины лимитов мы бы выбирали так. Дневной лимит равен типичному дню агента плюс запас на пик. Месячный чуть выше суммы типичных дней. Если поставить «с запасом в десять раз», лимит сработает уже после ущерба, а не вместо него.
Как агенту узнать, что бюджет заканчивается?
Остановка по ошибке это последняя линия обороны. До неё стоит проверять остаток. Метод GET /v1/key возвращает сведения о ключе: баланс аккаунта, расход и остаток по каждому из лимитов. Резерв он не делает и деньги не списывает. Перед долгим прогоном агент может прочитать остаток и отказаться стартовать, если его мало.
import json
import os
import urllib.request
MIN_LEFT_USD = 1.0
request = urllib.request.Request(
"https://relay-llm.ru/v1/key",
headers={"Authorization": "Bearer " + os.environ["RELAY_API_KEY"]},
)
with urllib.request.urlopen(request, timeout=10) as response:
key = json.load(response)
amounts = [float(key["balance"])]
amounts += [float(v) for v in key["limits"]["remaining"].values() if v is not None]
if min(amounts) < MIN_LEFT_USD:
raise SystemExit("баланс или лимит ключа почти исчерпаны, агент не запускается")Порог MIN_LEFT_USD подберите под свой прогон: он должен быть не меньше цены самого дорогого шага. Баланс аккаунта проверяется всегда, потому что платят им все ключи. Остаток равен null у лимита, который не задан, и код такие значения пропускает. Формат ответа описан в документации моделей и ключа.
Сама ошибка key_limit_exceeded приходит с x-should-retry: false. Агент, который автоматически повторяет любые ошибки, будет без толку стучаться в закрытый лимит. Сделайте остановку на этой ошибке явным выходом из цикла.
Как увидеть, какой агент тратит больше?
Откройте журнал запросов и отфильтруйте по ключу, модели и статусу. В деталях запроса стоимость разложена по частям цены. Аналитика по дням показывает расход и число запросов с разбивкой по модели или по ключу, а страница самого ключа показывает израсходованную сумму, остаток лимита и число запросов за 30 дней. Выгрузка в CSV отдаёт те же данные для своего отчёта.
Смотрите расход по дням, а не итог месяца. Скачок виден за сутки, итог открывается слишком поздно. Какие приёмы снижают расход самого агента, разобраны в статье про семь приёмов, а правила повторов и таймаутов собраны в справочнике ошибок.
Нужен ли отдельный ключ, если агент один?
Да. Ключ служит единицей лимита, журнала и отзыва. Один ключ на агента даёт чистую разбивку расхода, а при утечке вы отзываете только его, не останавливая остальные интеграции. Заодно можно задать этому агенту свой список моделей и свой предел запросов в минуту.
Что должен сделать агент, получив key_limit_exceeded?
Остановиться и сообщить человеку. Ошибка приходит с кодом 402 и x-should-retry: false, деньги за запрос не списываются. Повтор без изменения лимита снова даст ту же ошибку, поэтому в цикле инструментов остановку делайте явным выходом и сохраняйте request_id для разбора в журнале.
Чем лимит ключа отличается от баланса аккаунта?
Баланс общий для всех ключей, лимит ограничивает только один ключ на всё время, день или месяц. Исчерпанный лимит пополнением не лечится, а нулевой баланс останавливает все ключи сразу. Оба остатка видны в ответе GET /v1/key.