К содержимому
Блог

Together AI: открытые и закрытые модели

Together AI: открытые и закрытые модели

Вопрос про Together AI обычно скрывает более важный выбор: нужна ли вам модель с открытыми весами или управляемая закрытая модель. Победителя по умолчанию нет. Сравните объём, требования к развёртыванию, качество на предметной задаче и цену ошибки. Не сравнивайте только цену миллиона токенов, считайте стоимость полезного результата.

Коротко

  • Открытые и закрытые модели сравнивают на одном наборе задач, а не по чужому бенчмарку.

  • Цена ответа включает повторы, проверку человеком и последствия неверного результата.

  • Платформа и каталог меняются, поэтому актуальные модели и условия нужно брать из первичных источников в день выбора.

Открытые веса и закрытая модель решают разные риски

Модель с открытыми весами даёт больше вариантов развёртывания и контроля над стеком. Это может быть существенным, если организации нужно развернуть собственный контур, доработать модель или сменить инфраструктуру. Но свобода заставляет эксплуатировать сервис, обновлять его, оценивать качество и защищать данные.

Закрытую модель обычно вызывают через API. Команда быстрее начинает пилот, однако зависит от доступного контракта, набора поддерживаемых возможностей и поведения конкретной версии. Здесь особенно опасно считать модели взаимозаменяемыми: два вызова могут иметь одинаковый JSON, но по-разному работать с длинным контекстом, инструментами и форматом ответа.

Название семейства ничего не доказывает. Нужен тест.

Как считать цену на единицу качества

Начните с формулы: стоимость результата = вызовы + повторы + проверка + цена ошибки. Сначала посчитайте токены и выбранную модель. Затем учтите повторы, если ответ неполный или не проходит проверку. Добавьте время человека и автоматические тесты. В конце оцените последствия неверного ответа в продукте.

Для чернового тегирования документов можно принять большую долю автоматической проверки. Для кода, расчёта или ответа клиенту правило будет строже. Дешёвый ответ, который требует трёх повторов и ручной починки, может оказаться дороже первого качественного результата. Обратная ошибка тоже бывает: дорогую модель легко поставить на однообразную задачу, где полезнее простой надёжный конвейер.

Не назначайте коэффициенты «качества» из чужой таблицы. Соберите 30-50 примеров без подсказки правильного ответа в промпте. Разделите их по сложности. Проверьте средний балл и худшие случаи. Разберите именно их, потому что они чаще всего попадают в поддержку.

Пилот из четырёх сценариев

Сначала запустите короткую классификацию с известным набором меток. Затем извлеките структуру из документа. Третьим прогоните задачу, где ответ должен пройти автоматический тест. Четвёртым отправьте длинный или неоднозначный запрос, который требует аккуратного отказа. Так вы увидите, где разница моделей действительно влияет на продукт.

Для каждого запуска сохраните модель, версию промпта, время, токены, результат проверки и причину повтора. Затем сравните не лучшие ответы, а долю полезных. Если модель выдаёт красивый текст, но регулярно ошибается в поле схемы, не выбирайте её для этой интеграции.

В день эксперимента откройте официальную документацию Together AI и конкретных моделей. Не переносите из обзоров старые списки моделей, цены или условия пакетной обработки: именно такие детали меняются чаще всего.

Что проверить в каталоге Relay

В Relay каталог показывает точные идентификаторы, параметры и цену модели. Не подменяйте карточку названием в коде или статье: состав каталога меняется. Перед запуском возьмите идентификатор из каталога, а цену смотрите в карточке модели, не копируйте её числом в конфигурацию.

Если вы сравниваете несколько моделей через Relay, выпустите отдельный ключ для эксперимента. Задайте предел на день или месяц, чтобы не масштабировать бенчмарк случайно. Затем откройте журнал запросов: он связывает вызов с токенами, стоимостью, статусом и request_id. Так вы посчитаете сценарий, а не будете гадать по общему счёту.

Поддержка протоколов зависит от модели. До запуска соберите сценарии по методу оценки моделей на своих задачах, затем разберите выбранную пару в сравнении Claude и Qwen. Если продукт требует функцию, которой нет в используемом пути API, это повод изменить план теста, а не скрыть различие за общим адаптером.

Когда стоит смешивать модели

Маршрутизация оправданна после измерения. Например, один тип задач стабильно проходит дешёвый набор проверок, а другой часто требует повторов. Тогда правило можно сформулировать явно и закрепить тестами. Запрещать переходы тоже полезно: ответ, который влияет на пользователя, не всегда допустимо направлять по тому же маршруту, что и черновую обработку.

Я бы начал с одной модели на один сценарий. Это даёт чистые данные. Микс появляется позже, когда можно объяснить, почему именно эта задача получает именно этот маршрут. Роутинг по интуиции лишь усложняет расследование расхода.

Как подготовить набор для оценки

Берите примеры из реального процесса, но удаляйте секреты и персональные данные до отправки в тест. Для каждого примера сохраните входной класс, ожидаемую форму ответа и способ проверки. У части задач ответ можно валидировать схемой. У части, проверить человеком по короткой шкале. Смешивать эти оценки в одну красивую цифру не нужно.

Полезно оставить несколько «плохих» примеров: неполные документы, противоречивые инструкции, пустой вход, запрос с запретным действием. Модель, которая достойно отвечает на стандартный пример, может сломаться именно там, где продукту нужна аккуратная ошибка. Такие случаи не портят тест. Они делают его похожим на реальность.

После первого прогона заморозьте набор. Новые версии модели и промпта сравнивайте с тем же основанием. Иначе команда меняет данные вместе с экспериментом и получает результат, который невозможно объяснить.

Что измерять кроме средней оценки

Средняя оценка скрывает важные хвосты. Смотрите на долю валидных ответов, число повторов, время ручной проверки и худшую ошибку в каждом классе. У сценария с низкой ценой ошибки допустимы другие компромиссы, чем у сценария, который меняет данные пользователя или даёт техническую инструкцию.

Добавьте расход по запросу, но не превращайте его в единственный критерий. Цена полезного результата зависит от того, сколько раз вы зовёте модель после первого ответа. Журнал Relay помогает собрать токены и стоимость по request_id, а отдельный ключ эксперимента не смешивает бенчмарк с production-трафиком.

Как выбрать первую стратегию

Начните с одного маршрута, который проходит ваши критерии. Потом добавляйте второй только при доказанной пользе: ниже стоимость на подтверждённом классе задач, лучшее качество или требование к размещению. У каждого нового правила должен быть тест и владелец. Так сравнение открытых и закрытых моделей превращается в инженерное решение, а не в спор о названиях.

Как не потерять воспроизводимость

Записывайте точный ID модели, версию промпта, параметры запроса и дату запуска оценки. Без этого сравнение нельзя повторить после обновления каталога или клиента. Даже хороший набор примеров перестаёт быть доказательством, если неизвестно, какой именно запрос дал результат.

В Relay точный идентификатор берётся из каталога, а данные вызова можно найти по request_id. Это не делает выбор модели автоматическим. Зато даёт материал, чтобы вернуться к спорному ответу, проверить расход и обновить правило маршрутизации на фактах, а не по памяти.

Открытые модели всегда дешевле закрытых?

Нет. Цена токена не равна цене результата. Добавьте повторы, проверку, поддержку и эксплуатацию выбранного пути. Для некоторых массовых задач открытая модель может быть разумным выбором. Для других стоимость ошибок или настройки контура изменит расчёт полностью.

Сколько примеров нужно для первого сравнения?

Начните с 30-50 примеров, которые отражают реальные классы задач и включают неприятные случаи. Этого достаточно, чтобы увидеть грубые провалы и построить процедуру. Затем расширяйте набор только там, где решение чувствительно к качеству или стоимости ошибки.

Можно ли выбирать модель по общему рейтингу?

Рейтинг помогает составить короткий список, но не заменяет ваш тест. В нём другие данные, формат ответа и цена ошибки. Лучше измерить полезный результат на собственных примерах, записать критерий приемки и вернуться к нему после смены модели или промпта.

Создать аккаунт Relay

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.