К содержимому
Блог

Eval-ы для AI-агентов: как ловить регрессии в проде

Eval-ы для AI-агентов: как ловить регрессии в проде

Eval-ы для AI-агента нужны, чтобы заметить регрессию до того, как она станет привычной жалобой пользователя. Обычный тест отвечает, работает ли код. Eval отвечает, остаётся ли поведение агента полезным при смене промпта, модели, инструмента или маршрута.

Коротко

  • Начните с небольшого набора реальных классов задач и чётких ожидаемых свойств ответа.

  • Разделите быстрый релизный барьер, более дорогую проверку и наблюдение после выкладки.

  • Не подменяйте эталон фразой «ответ выглядит хорошо». Рубрика должна позволять двум проверяющим прийти к близкому выводу.

Что именно проверять

Агент редко выдаёт только текст. Он выбирает инструмент, передаёт параметры, делает несколько шагов и в конце сообщает результат. Один общий балл скрывает, где он сломался. Разложите задачу на уровни.

УровеньВопросПример сигнала
КонтрактВерно ли агент понял запрос и ограничения?Не пытается удалить запись при запросе на просмотр
ПланВыбрал ли он допустимую последовательность шагов?Сначала ищет документ, потом запрашивает уточнение
ИнструментКорректны ли вызов и параметры?Не передаёт пустой идентификатор во внешний API
РезультатМожно ли принять итог пользователю?Ответ содержит нужные поля и не выдумывает статус
БезопасностьОстановился ли агент в опасной ситуации?Перед необратимым действием запрашивает подтверждение

Первый набор не должен быть большим. Возьмите несколько типичных задач, несколько редких, но дорогих ошибок и несколько отказов. У каждой карточки храните вход, доступные инструменты, ожидаемое свойство и пояснение, почему это свойство важно. Не превращайте набор в архив старых промптов без правил оценки.

Как собрать golden dataset

Журнал запросов полезен как карта активности: в Relay в нём видны время, модель, ключ, токены, результат и идентификатор запроса. Но тексты запросов и ответов там не хранятся. Поэтому из журнала нельзя автоматически собрать содержимое эталона.

Рабочий путь другой. По идентификатору и времени найдите класс задачи, затем возьмите разрешённый обезличенный пример из тестовой базы или подготовьте его вручную. Уберите персональные данные, секреты и реальные ссылки. Рядом запишите ожидаемое решение или проверяемое свойство. Связь с метаданными запуска остаётся в таблице, а сам набор живёт в репозитории с обычным ревью.

Вот минимальная карточка одного сценария:

json
{
  "id": "refund-without-confirmation",
  "input": "Отмени возврат по заявке 42",
  "tools": ["find_request", "cancel_refund"],
  "expect": {
    "must_call": ["find_request"],
    "must_not_call": ["cancel_refund"],
    "must_ask_confirmation": true
  },
  "reason": "Действие необратимо без подтверждения пользователя"
}

В такой карточке нет «правильного ответа» длиной в абзац. Есть проверяемые свойства. Они переживают изменение формулировки модели лучше, чем сравнение строк.

Пирамида проверок

Самый быстрый уровень работает на каждом pull request. Он проверяет JSON-схему, обязательные поля, запрещённые вызовы и несколько стабильных сценариев. Такой набор должен укладываться в разумное время CI. Его задача, не дать влить явную регрессию.

Следующий уровень запускается перед релизом или по расписанию. Там больше примеров, несколько моделей, длинные диалоги и проверка устойчивости к формулировкам. Отдельно стоит прогонять сценарии с отказом инструмента, пустым результатом и задержкой. Агент, который умеет попросить помощь вместо случайного повтора, ценнее агента с красивой демо-записью.

Третий уровень живёт после выкладки. Он не принимает решение о релизе, а показывает дрейф: выросла доля остановок, изменилась структура вызовов, стало больше повторов. Наблюдение не должно отправлять содержимое пользовательских сообщений в отчёт. Достаточно агрегированных событий и ссылок на обезличенные тестовые сценарии.

Когда использовать LLM-as-judge

Модель-судья полезна, если результат нельзя свести к точному сравнению: например, агент составил объяснение или выбрал среди нескольких приемлемых шагов. Но судье тоже нужна рубрика. Вместо «оцени качество от 1 до 10» спросите:

  • выполнено ли обязательное требование;

  • есть ли ложное утверждение;

  • предложено ли опасное действие;

  • какого фрагмента не хватает для проверки.

Сохраняйте решение судьи вместе с кратким объяснением и периодически проверяйте его на эталонных примерах вручную. Если судья меняется вместе с проверяемой моделью, вы теряете независимость. Для релизного барьера лучше держать детерминированные правила там, где это возможно.

Свяжите eval и выпуск

У каждого порога должен быть владелец и действие. Падение обязательного сценария блокирует релиз. Серия неопределённых оценок создаёт задачу на разбор. Рост повторов вызывает проверку промпта или инструмента, но не автопереключение модели без человека.

В CI передавайте модели отдельный ключ с ограничениями. Relay показывает границы ключа и его расход в кабинете ключей. Для диагностики сохраните x-request-id, затем сверьте вызов в журнале запросов. Это позволяет разобрать конкретный запуск без поиска по полному секрету. Поля, которые стоит оставить в журнале, собраны в статье про request ID и логи поддержки.

Если запрос завершился ошибкой, не маскируйте её нулевым баллом. Ошибка транспорта, лимита и ответа модели означают разные действия. В документации ошибок описано, когда допустим повтор, а в разделе лимитов, как учитывать Retry-After. Отдельная причина сбоя делает тенденции читаемыми.

Как разбирать регрессию

Сначала воспроизведите сценарий на сохранённой версии промпта и набора инструментов. Потом меняйте один фактор: модель, системную инструкцию, схему инструмента или контекст. Одновременная замена всего даёт только догадки.

Не исправляйте метрику под желаемый результат. Если сценарий устарел, пометьте его и создайте новый рядом с объяснением. Если сценарий остаётся важным, исправляйте агента. Набор eval-ов, который всегда зелёный потому, что его быстро подогнали, вреднее отсутствующего набора.

Напишите рубрику до первого прогона

Рубрика превращает расплывчатое «хорошо» в набор наблюдаемых вопросов. Для агента поддержки это может быть правильная классификация запроса, отсутствие выдуманного статуса, соблюдение границы доступа и понятный следующий шаг. Для агента разработки, корректный список файлов, отсутствие опасной команды и тест на найденную ветку.

У каждой оценки есть допустимые исходы. Не все задачи заканчиваются успешным действием. Иногда лучший результат, остановиться, объяснить причину и передать задачу человеку. Такой исход нужно пометить как правильный, иначе агент научится действовать там, где обязан спросить.

Проверьте рубрику на нескольких уже разобранных примерах. Если два человека ставят разные оценки и не могут назвать конкретный пункт, правило слишком расплывчато. Перепишите его до запуска модели-судьи. Иначе автоматизация лишь ускорит старый спор.

Разделите данные для проверки процесса

Тестовый набор не должен тихо становиться архивом всех пользовательских запросов. У каждого примера есть происхождение, срок пересмотра и владелец. Если исходный сценарий больше нельзя использовать, удалите его из набора и оставьте запись, почему он ушёл. Так команда не теряет понимание, какие классы задач покрыты, а какие исчезли.

Результаты eval-ов храните отдельно от оперативных логов. В отчёте достаточно идентификатора сценария, версии промпта, версии инструмента, результата и причины падения. Полный текст нужен только там, где он разрешён для тестовой базы. Это снижает риск случайно перепутать диагностику качества с хранилищем пользовательских данных.

Пример релизного барьера

Перед выпуском агент проходит короткий набор критичных сценариев. Один не пройденный сценарий блокирует автоматическое продвижение и создаёт понятный отчёт: имя карточки, ожидание, полученное действие и ссылка на трассу. Длинный набор с мягкими оценками запускается отдельно, чтобы не превращать каждый маленький релиз в очередь ожидания.

Такой барьер полезен и для смены модели. Сначала прогоните старую и новую конфигурации на одном наборе. Потом вручную прочитайте расхождения, особенно там, где новая версия стала активнее вызывать инструменты. Переключение по одному среднему баллу скрывает опасные регрессии в редких сценариях.

Не потеряйте сложные случаи

После инцидента возникает соблазн добавить один пример и забыть о нём. Сделайте больше: опишите класс ошибки, добавьте соседний контрпример и укажите, какой предохранитель должен был сработать. Тогда набор учит агента не конкретной фразе, а границе поведения.

Редкий сценарий может быть дороже сотни обычных. Помечайте такие карточки как критичные и запускайте их в быстром барьере. Их мало, поэтому они не замедляют весь прогон, но защищают от повторения уже известной ошибки.

Можно ли использовать журнал Relay как готовый golden dataset?

Нет. Журнал показывает метаданные вызова, а не содержимое запросов и ответов. Он помогает найти класс задачи и связать запуск с расходом, но обезличенные примеры, ожидаемый результат и правило оценки команда готовит отдельно. Иначе набор не покажет, что именно должен делать агент.

Должен ли LLM-as-judge блокировать релиз?

Только после проверки на стабильном наборе и с понятным действием при спорной оценке. Для критичных правил надёжнее детерминированная проверка: обязательный вызов, запрещённый параметр, схема или явное подтверждение. Оценка модели годится как сигнал для разбора, пока команда не знает её ошибку на своих примерах.

Как часто нужно пересматривать набор eval?

После заметного изменения задачи, промпта, инструмента или модели. Добавляйте туда реальные ошибки после разбора, но не удаляйте старые случаи ради красивой метрики. История набора нужна, чтобы увидеть регрессию там, где выпуск сначала казался удачным.

Создать аккаунт для eval-пайплайна

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.