Eval это проверка качества, которую можно повторить. Без неё смена модели или правка промпта оценивается на глаз, и регрессии первым замечает клиент. Проверять можно на трёх уровнях: эталонный набор вопросов с ожидаемыми ответами, оценка другой моделью в роли судьи и наблюдение за качеством в продакшене.
Начинать стоит с малого. Горсть реальных запросов, на которых система уже ошибалась, полезнее сотни придуманных. Такой набор прогоняется одним скриптом, а стоимость прогона видна в журнале запросов. Результат храните рядом с версией промпта, иначе через месяц сравнивать будет не с чем.