К содержимому

Аудитория

Аналитики и исследователи

6 статей

Все статьи

Выбор модели «по ощущениям» ломается на первом споре в команде. Для аналитиков и исследователей здесь собраны способы измерять: составить эталонный набор вопросов, поручить оценку другой модели, поймать регрессию после смены версии, сравнить RAG с длинным контекстом. Всё, что можно посчитать скриптом, считается скриптом.

Одно ограничение лучше знать заранее. В Relay нет моделей эмбеддингов и нет Batch API: поиск для RAG собирается на стороне, а большой набор вопросов прогоняется обычными запросами. Список моделей и их параметры открыты в каталоге. Если вывод нужен для решения о смене модели, сравнивайте на данных из вашей предметной области, а не на чужих бенчмарках. Они меряют другое.

Qwen Image 2.1: обзор, лицензия и чем заменить через Relay

Qwen Image 2.1 от Alibaba: 7B параметров, 2K, до десяти референсов и лицензия только для исследований. Как запустить локально и какие аналоги есть в каталоге Relay.

Лучшие нейросети для анализа текста: сравнение по API

Выберите нейросеть для анализа текста по своим документам. Сравните GPT и Claude через API Relay, проверьте цитаты, пропуски и стоимость принятого ответа.

Что лучше Nano Banana 2 или Pro: сравнение по задачам

Сравните Nano Banana 2 и Pro на своих промптах: сохраните картинки через API, проверьте надписи и детали, посчитайте расход на принятый результат.

Длинный контекст или RAG: как выбрать подход для данных

Выбираем между длинным контекстом и RAG по размеру корпуса, обновляемости, цене ошибки и повторяемости запросов. Даём план короткого эксперимента.

Eval-ы для AI-агентов: как ловить регрессии в проде

Как построить eval-ы для AI-агента: собрать набор примеров, задать проверку, отделить релизный барьер от наблюдения и разбирать дрейф.

Как сравнить LLM-модели на своих данных: набор из 20 примеров

Свой бенчмарк для LLM без лаборатории: 20 реальных примеров, критерий проверки, готовый скрипт под Relay и таблица с ценой прошедшего ответа.