К содержимому
Блог

Агрегатор нейросетей по API: как устроен шлюз и когда он нужен

Агрегатор нейросетей по API: как устроен шлюз и когда он нужен

Допустим, вы пишете приложение и хотите дать пользователю выбор между моделями трёх вендоров. Без посредника это три ключа, три формата и три счёта. Агрегатор, он же API-шлюз, сводит всё в один адрес и один ключ: вы меняете значение поля model, а интеграцию не трогаете. У выгоды есть обратная сторона, ещё один сервер между кодом и моделью. Ниже разберём, как он устроен, чем отличается от прямого ключа и самохоста и что спросить у сервиса до первого пополнения.

Коротко

  • Шлюз принимает запрос в знакомом формате, по полю model находит поставщика, передаёт запрос и ведёт общий баланс.

  • От прямого ключа он отличается числом договоров и счетов, а ещё тем, что ваши запросы проходят через посредника.

  • В Relay один ключ, адрес https://relay-llm.ru/v1, протоколы OpenAI и Anthropic, оплата токенов с баланса без подписки.

  • Параметры конкретного вендора доходят до модели только в той мере, в какой их пропускает шлюз.

Что делает шлюз между кодом и моделью

Запрос приходит с ключом. Шлюз проверяет ключ, читает идентификатор модели, оценивает стоимость, отправляет запрос поставщику, считает токены в ответе и списывает деньги с баланса. Клиентский код при этом видит обычный API: OpenAI SDK работает после замены адреса и ключа.

В Relay шлюз читает из тела запроса всего несколько полей: model, stream и max_tokens. Всё остальное уходит модели без изменений (формат Chat Completions). Отсюда практический вывод: если вам нужен специфичный параметр вендора, его поддержку определяет сама модель, и проверять её надо на живом запросе. Страница про подключение говорит то же самое: одинаковый формат базового запроса ещё не гарантирует поддержку всех методов и заголовков.

Слова «агрегатор», «шлюз» и «роутер» на практике взаимозаменяемы, и мы используем их так же. Важно другое: шлюз не продлевает возможности модели. Если вендор снимет модель с обслуживания, она исчезнет и у посредника, пока тот не подменит её другой.

Четыре пути к API нейросетей

ПутьЧто получаетеЧто остаётся на вас
Прямой ключ вендоравесь набор функций одного поставщика, без промежуточного звенаотдельный договор и счёт на каждого вендора, свой формат запросов у каждого
Шлюз с общим балансомодин ключ, один адрес, единый формат, общий учёт расходовдоверие к посреднику и проверка, какие функции вендора он пропускает
Самохост: открытый прокси на вашем сервереполный контроль над ключами, лимитами и логамиаренда и эксплуатация сервера, ключи и платежи у каждого вендора по-прежнему ваши
Подписка на чат-приложение вендораготовый интерфейс для людейобычно это отдельный продукт, программный доступ по API нужно оформлять отдельно

Условия доступа, список поддерживаемых стран и правила использования у каждого вендора свои, читайте их на его странице. Вопросы правового режима каждый решает сам: шлюз эти вопросы за вас не закрывает.

Как это выглядит в Relay

Ключ создаётся в консоли и показывается один раз. Каталог открыт без ключа, а сведения о ключе и остатке баланса отдаёт отдельный метод:

bash
curl https://relay-llm.ru/v1/models

curl https://relay-llm.ru/v1/key \
  -H "Authorization: Bearer $RELAY_API_KEY"

Первый запрос возвращает публичный каталог: идентификатор, время публикации и вендора каждой модели. Второй показывает баланс, лимиты ключа и список разрешённых ему моделей (методы моделей и ключа). Цены в публичный ответ не входят, их смотрят в карточках каталога.

Сравнить поставщиков одним скриптом можно так:

python
import os

from openai import OpenAI

client = OpenAI(base_url="https://relay-llm.ru/v1", api_key=os.environ["RELAY_API_KEY"])

for model in ["claude-sonnet-5-5", "gpt-6-sol", "gemini-3.8-flash"]:
    reply = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": "Чем процесс отличается от потока? Два предложения."}],
    )
    print(model, reply.usage.prompt_tokens, reply.usage.completion_tokens)
    print(reply.choices[0].message.content)

Три вендора, один ключ, один формат ответа. Расход каждого вызова читайте из поля usage: именно по нему сверяют списание в журнале.

Claude Sonnet 5.50,52 $ за 1 млн входных токенов
GPT-6 Sol0,38 $ за 1 млн входных токенов
Gemini 3.8 Flash0,20 $ за 1 млн входных токенов

Что спросить у любого шлюза до пополнения

ВопросКак отвечает Relay
Какие модели и версии доступнысписок в каталоге и в методе GET /v1/models
Какие протоколы принимаетOpenAI Chat Completions, Responses и Anthropic Messages
Как считается расходтокены умножаются на цену из карточки, результат округляется вверх; изображения считаются за картинку, видео за секунду
Что с даннымитексты запросов и ответов Relay не хранит, поставщик модели получает их целиком; записи о запросах (модель, токены, стоимость, время) живут 90 дней
Какие лимитына ключ задаются суточный лимит расходов, лимит запросов в минуту и список моделей
Что при нулевом балансезапрос получает ошибку 402
Что при сбое поставщикасм. блок ниже

Подробности про хранение собраны на странице безопасности. Там же честная оговорка: сертификаты и гарантии доступности Relay не заявляет.

Когда лучше обойтись без агрегатора

Есть три ситуации, где другой путь честнее.

  1. Вы работаете с одним вендором и можете оформить доступ у него напрямую. Посредник тогда лишь добавляет звено, а прямой ключ отдаёт все функции поставщика без оговорок.

  2. Промпты нельзя выпускать за пределы вашей инфраструктуры. Поднимите собственный прокси на своём сервере и храните ключи вендоров у себя.

  3. Вам нужны функции, которые шлюз способен не пропустить: пакетная обработка, дообучение, редкие параметры. Прогоните нужную функцию живым запросом, прежде чем пополнять баланс.

Если сомневаетесь, пополните баланс на небольшую сумму и проведите через шлюз один рабочий сценарий. Живые запросы расскажут о совместимости больше любой таблицы. Следите за журналом запросов: в нём видно, какая модель отработала, сколько токенов ушло и во что обошёлся вызов, так что расхождения заметны с первого дня.

Что такое агрегатор нейросетей?

Сервис, который выставляет модели разных поставщиков за одним адресом и ключом, ведёт общий баланс и понимает привычный формат запросов. Нужную модель вы называете в поле model.

Чем доступ через шлюз отличается от прямого API?

Вы получаете один ключ, один счёт и единый формат запросов. Платите за это посредником: он видит ваши запросы, а возможности вендора доступны, пока шлюз их передаёт дальше.

Есть ли в Relay бесплатные модели?

В каталоге есть модель с пометкой Free, deepseek-v4.1-flash-1017-free. Условия смотрите в её карточке. Для остальных моделей токены списываются с баланса, подписки нет.

Создать аккаунт

Модели из статьи

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.