К содержимому
Блог

Claude или Gemini: как сравнить модели для API

Claude или Gemini: как сравнить модели для API

Claude или Gemini стоит выбирать не по обещанию «лучше для всего», а по поведению на вашем API-потоке. Для одного продукта критичен длинный вход, для другого - строгая структура ответа, для третьего - работа с инструментами. Сначала назовите этот риск, затем сравните кандидатов на одинаковых данных.

Коротко

  • Проверяйте отдельно длинный контекст, инструменты, формат ответа и расход.

  • Большой лимит входа сам по себе не доказывает, что модель удержит нужный факт.

  • После теста оставьте правило эскалации, а не общий вердикт о семействе.

Какой вопрос решает ваш поток

Список требований полезнее названия модели. Для помощника по документации спросите: находит ли он нужный фрагмент в длинном материале и отмечает ли неопределённость? Для агента по коду: соблюдает ли он границы файлов, вызывает ли инструменты в нужном порядке, не оставляет ли незапущенные проверки? Для извлечения: возвращает ли данные в согласованной форме.

Запишите по одному проверяемому вопросу на сценарий. Формулировка «модель умная» не годится. Формулировка «из десяти обращений верно извлекает номер договора и отказывает при его отсутствии» годится, потому что у неё есть наблюдаемый ответ.

Почему длинный контекст нужно проверять отдельно

Длинный вход создаёт две разные задачи: модель должна принять материал и затем достать из него важную деталь. Эти вещи не равны. Положите контрольный факт в начало, середину и конец каждого тестового документа, а потом задайте вопросы без подсказки о положении фрагмента.

Не кладите в набор данные, которые нельзя отдавать модели по правилам команды. Для начала хватит обезличенных инструкций, старых задач и синтетических текстов с известным ответом. Если ответ меняется от запуска к запуску, сохраните оба результата: нестабильность сама по себе становится измерением.

О длинном контексте и альтернативе через поиск рассказывает материал длинный контекст или RAG. Он помогает решить, нужен ли большой вход в каждом запросе.

Как проверять инструменты и формат

Сделайте отдельный сценарий для каждого инструмента. Один проверяет, умеет ли модель запросить файл, второй - передать валидные аргументы, третий - остановиться после полученного результата. Не объявляйте успешным прогон, где человек поправил аргумент в середине: это уже другой процесс.

Для структурированного ответа подготовьте валидатор. Ответ либо проходит схему, либо нет. Такой тест снимает спор о том, «почти ли правильный» JSON. Важнее всего пограничные примеры: пустое поле, несколько совпадений, неверный тип и сообщение, где данных недостаточно.

Как собрать сопоставимую выборку

Один и тот же запрос нельзя считать независимым тестом, если оператор меняет промпт после каждого неудачного ответа. Для каждого случая сохраните версию входа, системные инструкции, ожидаемый результат и правило оценки. Когда в эксперименте участвуют инструменты, зафиксируйте список доступных действий и исходное состояние среды.

Разделите выборку на обучение и проверку. На первой части команда уточняет формулировки и валидатор. Вторую не показывают при настройке. Иначе тест измерит способность подогнать промпт под знакомые примеры, а не работу на потоке.

Добавьте случаи, в которых правильным ответом будет отказ или уточняющий вопрос. Например, в документе нет нужного поля, два фрагмента противоречат друг другу или вход не проходит схему. Такой пример проверяет, что маршрут не выдаёт убедительный текст вместо признания неопределённости.

После каждого прогона записывайте причину отклонения. Отделяйте неверный факт, нарушение формата, лишний вызов инструмента, технический сбой и ручную правку. Эти причины помогают понять, что именно нужно менять: модель, вход, валидатор или процесс вокруг запроса.

Как считать цену принятого результата

Суммируйте расход всех попыток сценария, включая отклонённые ответы и повторы. Затем разделите сумму на число принятых результатов. Если принятых результатов нет, метрика не определена: ноль в таблице скроет провал эксперимента.

Считайте отдельно цену ответа и цену обработки после него. Ручная проверка, повторная постановка задачи и исправление аргументов тоже занимают время. Когда один кандидат чаще требует такого вмешательства, сравнение по цене одного вызова уже не отвечает на вопрос о цене результата.

Не делайте вывод по одному дорогому случаю. Пометьте входы, которые требуют длинного контекста, нескольких вызовов или эскалации. Потом решите, остаются ли они в общем маршруте, уходят на второй путь или требуют изменения продукта.

Как проверить кодовый и инструментальный сценарий

Для задачи с кодом подготовьте небольшой репозиторий или изолированную ветку. В критерий включите нужные файлы, запрещённые области, команду проверки и ожидаемую форму результата. Сравнивайте не красоту объяснения, а состояние после работы: прошла ли проверка, появились ли лишние изменения, сохранил ли агент границы задачи.

В сценарии с инструментами сохраняйте порядок событий. Модель может вызвать правильный инструмент слишком поздно, повторить его без причины или продолжить работу после отказа. Такая последовательность влияет на расход и на поведение приложения, хотя финальный текст выглядит приемлемо.

Запускайте каждый важный случай несколько раз. Если результаты расходятся, не усредняйте их молча. Зафиксируйте разброс и разберите ответы, которые изменили решение. Повторяемость важнее одного особенно удачного запуска.

Как закрепить решение после сравнения

Выберите для каждого сценария основной маршрут и условие, при котором он перестаёт подходить. Это может быть ошибка валидации, превышение лимита повторов, отсутствие нужного инструмента или доля ручных правок выше принятого порога. Условие должно работать до того, как пользователь увидит ответ.

Сохраните набор и версию конфигурации рядом с решением. При смене модели, промпта, инструмента или валидатора повторите хотя бы критические случаи. Так команда увидит, что изменилось, и не будет объяснять новый результат старым тестом.

Не включайте второй маршрут сразу для всех запросов. Начните с одного наблюдаемого сценария, соберите отказы и расход, затем расширяйте правило. Узкая граница проще проверить и отменить, если она даёт неожиданный эффект.

Как проверить длинный материал без подсказки

Подготовьте документы, где ответ нельзя найти по первому абзацу. Разместите контрольные факты в начале, середине и конце, а вопросы перемешайте. В одном случае попросите извлечь точное значение, в другом сопоставить два далёких фрагмента, в третьем признать, что нужного факта нет.

Сохраняйте исходный текст без изменений между кандидатами. Если вы сокращаете документ для одного маршрута или добавляете другую подсказку, это уже отдельный сценарий. Его можно сравнить позже, но нельзя смешивать с исходным тестом.

Проверяйте ответ по подготовленному ключу. Для числового поля это может быть точное значение, для краткого вывода набор обязательных фактов, для отказа явное указание на отсутствующую информацию. Оценка «похоже на правильное» не даёт правила для следующего прогона.

Отметьте место каждого контрольного фрагмента и тип вопроса. Если ошибки собираются у конца документа или в задачах на связь двух частей, команда получит направление для следующего эксперимента. Не делайте из такой заметки свойство семейства моделей: она описывает только этот набор и конфигурацию.

Как читать результаты без общего рейтинга

Не сводите все сценарии к одному среднему баллу. Низкий результат на юридическом извлечении не равен сбою инструмента в кодовом агенте, а одинаковая доля принятых ответов может скрывать разный объём ручной работы. Сначала посмотрите на последствия каждого класса ошибок.

Разберите пограничные решения отдельно. Если оба кандидата проходят основной поток, выберите дополнительный набор, который влияет на маршрут: длинный контекст, строгую схему, вызов инструмента или цену принятого результата. Такой выбор можно объяснить и перепроверить после изменения конфигурации.

Запишите победивший путь и случаи, где он не годится. Это убережёт от расширения маршрута на задачи, которых не было в пилоте. Когда появится новый тип входов, добавьте его в набор и сравните кандидатов заново.

Результат пилота остаётся решением для своей версии данных, промпта и валидатора. Он не заменяет живое наблюдение после включения. Первые реальные отказы и ручные вмешательства пополняют набор, если команда может безопасно обезличить их и подтвердить ожидаемый ответ.

В записи решения укажите владельца сценария, дату следующей проверки и ссылку на набор входов. Добавьте краткое объяснение границы: какие запросы остаются на основном пути, когда срабатывает эскалация и куда попадает неразрешимый случай. Без этого новый участник команды прочтёт итоговую цифру, но не сможет воспроизвести ход выбора.

Как выбрать точные идентификаторы

В API модели выбираются идентификаторами из каталога. Перед экспериментом проверьте доступные модели, а после выберите конкретные карточки для конфигурации. Это защищает тест от копирования устаревшего ID из статьи или чужого репозитория.

Каталог моделей

Gemini 3.7 Flash0,66 $ за 1 млн входных токенов

Цены и параметры в карточках не нужно переносить в кодовую константу. Если расход важен, записывайте фактические запросы и сравнивайте их по результатам, а не по одной строке прайса.

Как построить маршрут после теста

Я бы не делал сложную автоматику на первой неделе. Достаточно основной модели, чёткого условия эскалации и набора задач, на котором это условие проверяется. Например, одна модель обслуживает короткие структурированные обращения, а после ошибки валидации запрос уходит в ручную очередь или на второй путь.

Для сбоев доступности это правило другое. Relay умеет пройти резервный маршрут до начала ответа модели, если политика ключа его разрешает. Ограничения и возможная разница цены описаны в справке о резервных маршрутах. Не смешивайте этот механизм с заменой модели после некачественного ответа.

Более широкую таблицу кандидатов можно сверить в сравнении Claude, GPT, Gemini и DeepSeek.

Как понять, что тест длинного контекста честный?

Спрячьте проверяемые факты в разных частях документа, перемешайте вопросы и не сообщайте модели, где искать ответ. Заранее определите, что считать верным извлечением. Если документ меняется между запусками или факты лежат только в начале, тест измеряет удобство примера, а не работу с длинным входом.

Нужно ли отправлять весь контекст в каждый запрос?

Нет, если задаче достаточно небольшой части материала. Большой вход увеличивает объём обработки и усложняет проверку результата. Сначала отделите повторяемые инструкции от конкретного запроса, затем сравните вариант с поиском и вариант с полным контекстом на одинаковых вопросах.

Можно ли использовать резервный маршрут как способ повысить качество?

Нет. Резервный маршрут нужен, когда основной путь недоступен до начала ответа. Он не оценивает содержательную точность модели и не заменяет набор тестов. Качество повышают выбором сценария, понятным условием эскалации и проверкой ответа до выдачи пользователю.

Создать аккаунт

Модели из статьи

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.