Выбор модели «по ощущениям» ломается на первом споре в команде. Для аналитиков и исследователей здесь собраны способы измерять: составить эталонный набор вопросов, поручить оценку другой модели, поймать регрессию после смены версии, сравнить RAG с длинным контекстом. Всё, что можно посчитать скриптом, считается скриптом.
Одно ограничение лучше знать заранее. В Relay нет моделей эмбеддингов и нет Batch API: поиск для RAG собирается на стороне, а большой набор вопросов прогоняется обычными запросами. Список моделей и их параметры открыты в каталоге. Если вывод нужен для решения о смене модели, сравнивайте на данных из вашей предметной области, а не на чужих бенчмарках. Они меряют другое.