К содержимому
Блог

AI-агенты в CI: где запускать и как контролировать расход

AI-агенты в CI: где запускать и как контролировать расход

AI-агент в CI становится дорогим не из-за одного длинного ответа. Расход растёт, когда его запускают на каждый коммит, кормят всем репозиторием и разрешают повторять один сбой без конца. Сначала определите, какое решение должен поддержать агент, а потом выбирайте триггер.

Коротко

  • Агент нужен на событиях, где его вывод меняет решение: pull request, ручной запуск или ночная проверка.

  • Разделяйте быстрый анализ diff и дорогой полный прогон.

  • Используйте отдельный ключ с лимитами и сверяйте расход с журналом запросов.

Когда запускать агента в CI?

Проверка на каждый коммит подходит для быстрых детерминированных задач: форматирование, типы, маленький тест. Агенту чаще нужен более содержательный вход. Запускайте его, когда pull request готов к ревью, по метке автора или вручную перед релизом.

Для команды хорошо работает три режима. Первый, краткая сводка diff по запросу автора. Второй, построчное ревью после успешных обязательных джобов. Третий, ночная проверка узкого набора сценариев и накопившихся проблем. У режимов разные бюджеты и разная ценность результата, поэтому не объединяйте их в один workflow.

Как ограничить вход до запроса к модели?

Уберите из контекста lock-файлы, сборочные артефакты, генерируемые файлы и каталоги без отношения к задаче. Оставьте diff, описание задачи, короткие правила модуля и результаты нужных проверок. Если pull request велик, разбивайте его на части по каталогам или рисковым изменениям.

Агент не должен сам решать, какую ветку клонировать, какие команды запускать и сколько файлов читать. Эти границы задаёт workflow. Чем точнее вход, тем проще найти причину ложного комментария и тем меньше работы у ревьюера.

Кэш полезен для повторяющегося контекста, например стабильных правил проекта или схемы ответа. Он не отменяет ограничение размера diff. Подробности учёта кэша и полей usage описаны в документации кэширования; фактический результат конкретного запуска проверяйте в журнале, а не в предположении о скидке.

Отдельный ключ, отдельная ответственность

Ключ автоматизации не должен совпадать с ключом разработчика или продового сервиса. В Relay для ключа задаются разрешённые модели, лимит запросов в минуту, срок, а также предел расходов на день, месяц или весь срок. Настройки и остаток видны в кабинете ключей. Для расчёта потолка расходов пригодится статья как ограничить расход AI-агентов.

У ключа должен быть понятный владелец. В имени отразите репозиторий и назначение, например ci-review-catalog. Если job перестал быть нужен, ключ отключают или отзывают. Это безопаснее, чем искать общий секрет во множестве workflow.

Не печатайте секрет в логах. Не передавайте его дочернему процессу, которому он не нужен. Не запускайте агентный job на входе, способном изменить workflow и увидеть секреты. Политика событий зависит от площадки и репозитория, её проверяет владелец CI до включения автоматизации.

Не платите за один и тот же вывод дважды

Повторные job часто возникают из-за отмены, ретрая CI или нескольких событий на один pull request. Добавьте ключ идемпотентности на уровне workflow: номер PR, SHA и тип проверки. Если такой запуск уже завершился, следующий job использует сохранённую сводку или явно сообщает, что проверка была отменена.

У каждого запроса модели есть лимит попыток. При временной ошибке Relay смотрите x-should-retry и Retry-After; без них не запускайте бесконечный цикл. Правила приведены в справочнике ошибок и разделе лимитов. Повтор, это новый запрос, а не продолжение прежнего.

Сохраняйте номер job, SHA, модель и идентификатор запроса. В журнале запросов можно сопоставить время, ключ, статус, токены и расход. По этим данным видно, был ли дорогой запуск полезным или просто повторил предыдущий.

Введите пределы до первого запуска

Запишите три ограничения рядом с workflow: максимальный размер diff, максимум фрагментов и максимум запросов на один запуск. Добавьте поведение при превышении: бот не молчит, а публикует короткую сводку с предложением разбить pull request или запустить расширенную проверку вручную.

Порог не обязан быть вечным. Через несколько недель соберите свои данные: сколько замечаний подтвердили, где расход вырос, какие типы diff дают шум. Изменяйте один параметр за раз. Так CI останется инструментом проверки, а не кассой с неизвестным счётом.

Очередь тоже входит в бюджет

Дорогой агентный job может задержать обычные проверки, если запускается одновременно на каждом обновлении ветки. Настройте отмену устаревшего запуска для одного pull request и оставьте в очереди только последний SHA. Отмена должна быть видна автору: он должен понимать, что бот не нашёл ноль проблем, а просто не закончил работу.

Для ночного прогона выделите отдельную очередь и ключ. Тогда проверка накопившихся задач не конкурирует с ревью живого изменения. Такой разрыв помогает увидеть реальную стоимость каждого режима и упрощает отключение одного из них при инциденте.

При отключении оставьте понятное сообщение в job: какой режим остановлен, кто отвечает за него и как выполнить проверку вручную. Тишина в CI похожа на успешный результат, хотя автоматизация могла не запуститься вовсе.

Нужно ли запускать агента на каждый коммит?

Обычно нет. Выбирайте момент, когда вывод агента влияет на решение: готовность pull request к ревью, ручная проверка или ночной прогон. Для каждого коммита оставьте быстрые детерминированные проверки. Так модель не тратит бюджет на промежуточные версии, которые автор ещё не собирался показывать ревьюеру.

Как понять, что лимит ключа сработал?

Запрос получит key_limit_exceeded. Пополнение баланса не меняет предел самого ключа: нужно поднять лимит или дождаться следующего окна, если оно настроено. Детали и остаток видны в кабинете. В job сохраните идентификатор запроса и причину остановки, чтобы отличить лимит ключа от ошибки workflow.

Можно ли дать всем CI-job один ключ?

Лучше разделить ключи по назначению и ограничениям. Тогда сбой или лишний расход одного джоба не скрывает картину по другим автоматизациям. Отдельный ключ помогает быстрее отключить проблемный сценарий, посмотреть его журнал и не останавливать независимые задачи команды.

Создать ключ для CI

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.