DeepSeek или ChatGPT: как сравнить модели через API
DeepSeek или ChatGPT: для приложения сравнивайте конкретные модели DeepSeek и GPT через API. ChatGPT обозначает готовый продукт, поэтому его интерфейс и функции нельзя целиком приписывать модели GPT. В Relay можно отправить одинаковые задания доступным моделям обоих семейств и выбрать по проверенным ответам, задержке и расходу.
Как выбрать DeepSeek или ChatGPT для своей задачи
Сначала определите, что вы сравниваете. Если нужен готовый чат с его интерфейсом, проверяйте именно продукт. Если пишете бота, обработчик документов или помощника в IDE, выбирайте модель и API. Подписка на чат не заменяет ключ Relay, а пополнение Relay не выдаёт подписку на сторонний сайт.
Для пробного сравнения через Chat Completions в текущем каталоге Relay есть deepseek-v4-pro и gpt-5.6-luna. Это пара кандидатов с общим протоколом, а не утверждение об их равном классе или универсальном преимуществе. Перед запуском проверьте карточки и цены.
Не меняйте модель только по знакомому бренду. gpt-5.6-luna поддерживает несколько протоколов, но в каждом запросе всё равно выбирайте маршрут и формат ответа, которые использует ваше приложение. Протокол задаёт способ обращения, а качество результата проверяется отдельно.
Какие задания покажут разницу
Подготовьте входы, которые приложение действительно получает, и заранее опишите правильный результат. Для первого сравнения подойдут такие задания:
Извлечение полей. Дайте письмо с номером заказа и письмо без номера. Проверяйте точное значение и отказ от выдуманного номера.
Код. Дайте функцию с воспроизводимой ошибкой и тестами. Считайте исправление принятым, только если тесты проходят и модель не поменяла требуемый интерфейс.
Русский текст. Дайте условия доставки и попросите ответить покупателю. Проверяйте, что модель не добавила срок, скидку или обещание, которых нет во входе.
Длинная инструкция. Поместите обязательное ограничение перед объёмным текстом. Проверьте, соблюдает ли ответ это ограничение.
Не просите модель оценить собственную правильность вместо внешней проверки. Для номера заказа достаточно сравнения строк; для исправления кода нужны тесты; для текста составьте список фактов, которые должны сохраниться.
Как отправить одинаковый запрос двум моделям
Пример для Python с установленным пакетом openai проверяет извлечение номера и измеряет время полного ответа. Он выполняет платные вызовы с вашим ключом; демонстрационный ключ ниже не работает.
export RELAY_API_KEY="sk-demo-not-a-real-key"import os
import time
from openai import OpenAI
client = OpenAI(
api_key=os.environ["RELAY_API_KEY"],
base_url="https://relay-llm.ru/v1",
timeout=60.0,
max_retries=0,
)
prompt = "Извлеки номер заказа: заказ R-17 готов. Верни только номер."
for model in ("deepseek-v4-pro", "gpt-5.6-luna"):
started = time.monotonic()
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
)
answer = (response.choices[0].message.content or "").strip()
print({
"model": model,
"answer": answer,
"accepted": answer == "R-17",
"seconds": round(time.monotonic() - started, 3),
"usage": response.usage.model_dump() if response.usage else None,
})В примере нет искусственно одинакового короткого лимита выхода: модели с рассуждением могут тратить его иначе. Перед большим прогоном задайте бюджет ключа и проверьте доступные параметры каждой модели в документации API. Само наличие usage в ответе не сообщает итоговую цену в деньгах.
Один запуск проверяет работу сценария, но не даёт надёжного рейтинга скорости. Повторите задания, сохраните неудачные ответы и выполняйте сравнения в сопоставимых условиях. Время полного ответа также не равно задержке первого токена при потоковой выдаче.
Как посчитать цену правильного ответа
Сложите фактические списания всех оплаченных попыток для одной задачи. Включите ответы, которые пришлось отклонить и перегенерировать. Затем разделите сумму на число принятых результатов. Если правильных ответов нет, низкая цена вызова не делает модель пригодной.
В журнале Relay проверяйте модель, токены и стоимость. Тариф входа может отличаться от выхода, а кэш учитывается отдельно, когда поддерживается. Правила резервирования и расчёта описаны в биллинге.
Не выдавайте наш пример за бенчмарк: в статье нет результатов измерений или чисел превосходства. Код нужен для собственного прогона. Ответ на вопрос «что лучше, DeepSeek или ChatGPT» зависит от версии модели, входа и критерия приёмки.
Когда стоит использовать разные модели
Если один кандидат точнее извлекает поля, а другой лучше проходит тесты на код, назначьте их разным операциям. Не усредняйте два несвязанных результата в один балл. Для каждого сценария сохраните выбранный ID, примеры проверки и допустимые ошибки.
Перед подключением к рабочим данным убедитесь, что приложение корректно сообщает об отказе API и не принимает обрезанный или пустой ответ за готовое решение. Качество модели не исправит ошибку обработки результата в вашем коде.
DeepSeek или ChatGPT: что лучше для API?
Сравните доступные модели DeepSeek и GPT на своих входах. Проверяйте правильность ответа и расход на принятую задачу, а не популярность готового чата.
Какая нейросеть лучше пишет код?
Дайте обеим моделям одинаковую ошибку и тесты. Примите исправление после запуска тестов и проверки изменений; одного убедительного объяснения недостаточно.
Можно ли сравнить русский язык без субъективной оценки?
Проверьте сохранение фактов, выполнение ограничений и отсутствие выдуманных условий. Тон можно оценить отдельно после этих проверок.
Где взять актуальные цены DeepSeek и GPT?
В каталоге и на странице цен Relay. Итог конкретного вызова смотрите в журнале запросов, потому что длина ответа и повторы меняют расход.