К содержимому
Блог

Как выбрать модель для задач по коду

Как выбрать модель для задач по коду

Выбор модели для кода начинается не с названия. Сначала зафиксируйте задачу и технические ограничения: нужен ли поток, какой API уже использует приложение, сколько текста приходит на вход и как будет проверяться результат.

Коротко

  • Сверьте протокол клиента с карточкой модели.

  • Смотрите id, статус, лимиты и текущие цены в каталоге.

  • Проверьте модель на одном измеримом сценарии до включения в основной поток.

  • Для агента разделите роли: сильная модель планирует и проверяет, средняя правит.

Начните с задачи

Разные сценарии требуют разного входа и проверки. Для генерации небольшого фрагмента кода подготовьте короткое техническое задание и тест, который примет или отклонит результат. Для ревью полезен компактный diff и список критериев. Для работы с большим репозиторием заранее решите, какие файлы и ограничения попадут в контекст.

Не сравнивайте ответы по одному красивому примеру. Возьмите несколько типовых задач из своего проекта: новая функция, исправление дефекта, объяснение чужого кода. Одинаково фиксируйте вход, критерий проверки, время ответа и usage.

Проверьте карточку модели

В каталоге у модели есть публичный id, статус, ограничения контекста и вывода, поддерживаемые возможности и текущие цены. Эти поля меняются вместе с каталогом, поэтому не копируйте цену в конфигурацию и не держите список моделей в коде без периодической сверки.

Для программы важны два вопроса. Первый: сможет ли ваш клиент отправить нужный формат, например Chat Completions или Messages. Второй: укладывается ли фактический вход в ограничения модели. Поля ответа GET https://relay-llm.ru/v1/models перечислены в документации моделей.

Сделайте контрольный запрос

Используйте один ключ, один идентификатор модели и небольшой запрос, который не требует ручной догадки при оценке. Например, попросите написать функцию, затем запустите её тесты. Если модель нужна для ревью, дайте ей diff с известной ошибкой и проверьте, нашла ли она конкретную проблему.

Сохраняйте request_id и usage для каждого замера. При расхождении результата это позволяет открыть запись в журнале запросов, а не воспроизводить задачу вслепую.

Учитывайте цену до запуска серии

Смотрите актуальные значения на карточке модели или в ответе каталога. Цена запроса зависит от фактически обработанных единиц и может включать отдельные компоненты для входа, вывода и кэша. Если настроен резервный маршрут, проверьте pricing_max в документации и свою политику fallback.

Страница о стоимости LLM API помогает составить измерение расходов, а документация fallback-маршрутов описывает ограничения переключения.

Политика маршрутизации для агента по коду

Если код пишет агент, не отдавайте все этапы одной модели. Сильная ревизия нужна там, где решается, как делать, и там, где проверяется результат. Правки по готовому плану дешевле держать на модели уровнем ниже, а разбор логов отдать недорогой.

ЭтапМодель в примереКогда повышать
Планclaude-opus-5сразу сильная
Правки по плануclaude-sonnet-5после второго падения тестов
Разбор логов и паденийdeepseek-v4-flashкогда вывод расходится с тестами
Ревью итогового diffclaude-opus-5сразу сильная

Идентификаторы держите в окружении, чтобы смена модели не требовала правки кода. Ревизию Opus подставьте ту, которую закрепили сами.

bash
export AGENT_PLANNER_MODEL="claude-opus-5"
export AGENT_EDITOR_MODEL="claude-sonnet-5"
export AGENT_TRIAGE_MODEL="deepseek-v4-flash"
export AGENT_REVIEWER_MODEL="claude-opus-5"

Эскалацию удобно строить на счётчике провалов, а не на самооценке модели:

js
const models = {
  plan: process.env.AGENT_PLANNER_MODEL,
  edit: process.env.AGENT_EDITOR_MODEL,
  triage: process.env.AGENT_TRIAGE_MODEL,
  review: process.env.AGENT_REVIEWER_MODEL,
}

function pickModel(stage, failedRuns) {
  if (stage === 'edit' && failedRuns >= 2) return models.plan
  return models[stage]
}

Все модели из примера принимают формат Chat Completions, так что один клиент обслуживает весь маршрут. Недорогую модель для разбора логов проверьте на своих данных до включения.

Роль ревьюера лучше не смешивать с ролью редактора. Дайте ему только diff, описание задачи и критерии приёмки, без переписки, в которой редактор объяснял себе решения. Ревьюер с тем же контекстом склонен принять те же допущения, а свежий взгляд ловит их.

Стабильную часть контекста агента, то есть инструкции репозитория и соглашения о стиле, кладите в начало запроса и размечайте для кэша: подробности в статье про prompt caching. Попадание в кэш проверяйте по usage, а не по ощущению. Часть моделей пишет кэш сама, без разметки, и запись может появиться в расходе, которого вы не заказывали.

Что проверить перед переключением модели

  • Набор задач зафиксирован, и у каждой есть автоматический критерий: тест, линтер, схема.

  • Для каждой модели сохранены request_id, токены и время, чтобы сравнивать стоимость принятой задачи, а не токена.

  • Размер diff не вырос: модель не трогает файлы вне плана.

  • Доля задач, где тесты прошли без ручной правки, не упала.

  • Откат готов: идентификатор лежит в конфигурации, а предыдущая модель остаётся в каталоге.

Выбор модели для кода

  1. Опишите проверяемую задачу

    Подготовьте входные данные и тест или другой однозначный критерий результата.

  2. Сверьте модель с клиентом

    Откройте каталог, выберите точный id и убедитесь, что маршрут подходит вашему SDK.

  3. Измерьте короткую серию

    Сравните результаты на одинаковых задачах и сохраните request_id с usage.

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.