К содержимому

Тег

Оценка качества

7 статей

Все статьи

Eval это проверка качества, которую можно повторить. Без неё смена модели или правка промпта оценивается на глаз, и регрессии первым замечает клиент. Проверять можно на трёх уровнях: эталонный набор вопросов с ожидаемыми ответами, оценка другой моделью в роли судьи и наблюдение за качеством в продакшене.

Начинать стоит с малого. Горсть реальных запросов, на которых система уже ошибалась, полезнее сотни придуманных. Такой набор прогоняется одним скриптом, а стоимость прогона видна в журнале запросов. Результат храните рядом с версией промпта, иначе через месяц сравнивать будет не с чем.

Лучшая нейросеть для программирования: как выбрать под задачу

Единой лучшей нейросети для кода нет. Показываем, как выбрать модель под задачу, какие из каталога Relay взять на первый замер и как проверить выбор за вечер.

Лучшие нейросети для перевода текста: как выбрать на своих примерах

Сравните нейросети для перевода на своём наборе текстов: задайте словарь, проверьте переменные, числа и ссылки, затем посчитайте расход на принятый перевод.

Что такое seed в нейросетевой генерации и как проверить повтор

Разберитесь, как seed влияет на случайность генерации. Проверьте поддержку поля в API, сохраните параметры и сравните повторы без обещания одинаковых картинок.

Лучшие нейросети для анализа текста: сравнение по API

Выберите нейросеть для анализа текста по своим документам. Сравните GPT и Claude через API Relay, проверьте цитаты, пропуски и стоимость принятого ответа.

RAG на LLM API: как собрать поиск, цитаты и проверку ответа

Пошаговая схема RAG: подготовка документов, поиск, ранжирование, контекст, цитаты и раздельная оценка retrieval и генерации.

Eval-ы для AI-агентов: как ловить регрессии в проде

Как построить eval-ы для AI-агента: собрать набор примеров, задать проверку, отделить релизный барьер от наблюдения и разбирать дрейф.

Как сравнить LLM-модели на своих данных: набор из 20 примеров

Свой бенчмарк для LLM без лаборатории: 20 реальных примеров, критерий проверки, готовый скрипт под Relay и таблица с ценой прошедшего ответа.