Claude, GPT, Gemini и DeepSeek: сравнение задач
Сравнение Claude, GPT, Gemini и DeepSeek полезно, когда вопрос звучит конкретно: какую модель пустить в код, классификацию, извлечение полей или диалог с пользователем. Общий победитель здесь ничего не решает. Одна и та же модель может хорошо пройти аккуратно описанную задачу и дать дорогой, непредсказуемый результат на соседнем потоке.
Сначала запустите тест, сверьте ответ, запишите ошибку, исправьте промпт и повторите.
Коротко
Разделите поток на сценарии и пишите для каждого собственный критерий приёмки.
Сначала проверяйте качество ответа, затем расход и задержку на одинаковом наборе.
В каталоге выбирайте точный public_id, а не название семейства из старого примера.
Почему рейтинг моделей не заменяет тест
Рейтинг отвечает на чужой вопрос, с чужим набором данных и правилами оценки. Ваш сервис может требовать валидный JSON, короткий ответ поддержки или безопасный патч в репозиторий. Ошибка у каждого сценария разная: где-то нужен повтор, где-то вмешательство человека, где-то отказ до отправки пользователю.
Лучше собрать небольшую матрицу. В строке укажите один сценарий, в столбцах кандидатов, затем добавьте измерение, которое должно пройти. Не приписывайте модели свойство, пока не получили результат на своей выборке.
| Сценарий | Кандидаты | Что проверить до запуска |
|---|---|---|
| Правка кода | Claude, GPT | Тесты, объём diff, число уточнений |
| Извлечение полей | GPT, Gemini, DeepSeek | Валидность схемы и полнота полей |
| Служебная классификация | Gemini, DeepSeek | Ошибки на пограничных примерах |
| Сложное объяснение | Claude, GPT | Фактические ошибки и понятность для читателя |
Таблица не выдаёт результат заранее. Она помогает не забыть, что «быстрый ответ» и «точный ответ» проверяются по разным признакам.
Как подготовить набор для сравнения
Возьмите двадцать-тридцать завершённых обращений или задач, где ответ уже можно проверить. Уберите персональные данные и секреты. Для JSON сохраните эталонную схему; для кода сохраните исходный тест; для текста попросите ревьюера обозначить фактические ошибки отдельно от стилистических замечаний.
Смешанный набор опасен. Если в нём пятнадцать простых классификаций и один сложный патч, средний балл расскажет лишь о доле лёгких задач. Делайте отдельные группы и не переносите вывод с одной на другую.
Материал о собственных оценках моделей помогает оформить такую проверку так, чтобы повторить её после смены модели.
Как читать результат, а не одну цифру
После прогонов посчитайте четыре величины: долю принятых ответов, число повторов, медианное время завершения и цену принятого ответа. Последняя строка часто меняет вывод. Низкая цена одного вызова не компенсирует модель, которую приходится запускать повторно или исправлять вручную.
В Relay расход и статус каждого вызова можно сверить в журнале запросов. Если вы строите автоматический маршрут, сохраните идентификатор тестового набора рядом с результатом. Через несколько недель иначе невозможно понять, модель изменилась или вы сравнили другие входные данные.
Как выбрать кандидатов из каталога
Название семейства не годится для запроса. API получает точный идентификатор модели, а неизвестное значение возвращает ошибку. Начните со страницы каталога, выберите публичные модели нужного типа и добавьте их в тестовую конфигурацию без ручного списка в исходном коде.
Карточка показывает текущие данные модели. Она надёжнее числа в статье, потому что цена и статус меняются вместе с каталогом.
Что делать после первого сравнения
Не превращайте результат в постоянный рейтинг. Зафиксируйте минимальный порог качества и назначьте основную модель для конкретного сценария. Второй кандидат получает понятную роль: резерв для проверки, выбор для другого класса задач или эскалация после неудачного первого ответа.
Если поток критичен, заранее настройте правила резервных маршрутов. Они срабатывают до того, как модель начала отвечать, и могут менять фактическую цену запроса. Описание вариантов есть в документации по резервным маршрутам.
Можно ли сравнить четыре модели одним промптом?
Можно, если промпт представляет один чёткий сценарий. Но один результат не переносится на весь продукт. После первого прогона добавьте ещё несколько задач того же класса, а затем отдельно проверьте другой поток. Так сравнение остаётся проверкой, а не демонстрацией удачного примера.
Стоит ли выбирать модель по названию или по карточке?
По точному public_id из каталога. Названия линеек и старые идентификаторы живут в примерах дольше, чем доступность модели. Карточка показывает состояние, которое увидит пользователь при работе с сервисом, а API принимает именно идентификатор из каталога или настроенный алиас.
Когда повторять набор тестов?
После смены модели, существенного изменения промпта, нового инструмента в агентном цикле или заметного изменения входных данных. Плановый повтор тоже полезен, если поток большой. Одинаковые задачи и правила приёмки важнее частоты, иначе разные версии набора нельзя честно сопоставить.