Агрегатор нейросетей по API: как устроен шлюз и когда он нужен
Допустим, вы пишете приложение и хотите дать пользователю выбор между моделями трёх вендоров. Без посредника это три ключа, три формата и три счёта. Агрегатор, он же API-шлюз, сводит всё в один адрес и один ключ: вы меняете значение поля model, а интеграцию не трогаете. У выгоды есть обратная сторона, ещё один сервер между кодом и моделью. Ниже разберём, как он устроен, чем отличается от прямого ключа и самохоста и что спросить у сервиса до первого пополнения.
Коротко
Шлюз принимает запрос в знакомом формате, по полю
modelнаходит поставщика, передаёт запрос и ведёт общий баланс.От прямого ключа он отличается числом договоров и счетов, а ещё тем, что ваши запросы проходят через посредника.
В Relay один ключ, адрес
https://relay-llm.ru/v1, протоколы OpenAI и Anthropic, оплата токенов с баланса без подписки.Параметры конкретного вендора доходят до модели только в той мере, в какой их пропускает шлюз.
Что делает шлюз между кодом и моделью
Запрос приходит с ключом. Шлюз проверяет ключ, читает идентификатор модели, оценивает стоимость, отправляет запрос поставщику, считает токены в ответе и списывает деньги с баланса. Клиентский код при этом видит обычный API: OpenAI SDK работает после замены адреса и ключа.
В Relay шлюз читает из тела запроса всего несколько полей: model, stream и max_tokens. Всё остальное уходит модели без изменений (формат Chat Completions). Отсюда практический вывод: если вам нужен специфичный параметр вендора, его поддержку определяет сама модель, и проверять её надо на живом запросе. Страница про подключение говорит то же самое: одинаковый формат базового запроса ещё не гарантирует поддержку всех методов и заголовков.
Слова «агрегатор», «шлюз» и «роутер» на практике взаимозаменяемы, и мы используем их так же. Важно другое: шлюз не продлевает возможности модели. Если вендор снимет модель с обслуживания, она исчезнет и у посредника, пока тот не подменит её другой.
Четыре пути к API нейросетей
| Путь | Что получаете | Что остаётся на вас |
|---|---|---|
| Прямой ключ вендора | весь набор функций одного поставщика, без промежуточного звена | отдельный договор и счёт на каждого вендора, свой формат запросов у каждого |
| Шлюз с общим балансом | один ключ, один адрес, единый формат, общий учёт расходов | доверие к посреднику и проверка, какие функции вендора он пропускает |
| Самохост: открытый прокси на вашем сервере | полный контроль над ключами, лимитами и логами | аренда и эксплуатация сервера, ключи и платежи у каждого вендора по-прежнему ваши |
| Подписка на чат-приложение вендора | готовый интерфейс для людей | обычно это отдельный продукт, программный доступ по API нужно оформлять отдельно |
Условия доступа, список поддерживаемых стран и правила использования у каждого вендора свои, читайте их на его странице. Вопросы правового режима каждый решает сам: шлюз эти вопросы за вас не закрывает.
Как это выглядит в Relay
Ключ создаётся в консоли и показывается один раз. Каталог открыт без ключа, а сведения о ключе и остатке баланса отдаёт отдельный метод:
curl https://relay-llm.ru/v1/models
curl https://relay-llm.ru/v1/key \
-H "Authorization: Bearer $RELAY_API_KEY"Первый запрос возвращает публичный каталог: идентификатор, время публикации и вендора каждой модели. Второй показывает баланс, лимиты ключа и список разрешённых ему моделей (методы моделей и ключа). Цены в публичный ответ не входят, их смотрят в карточках каталога.
Сравнить поставщиков одним скриптом можно так:
import os
from openai import OpenAI
client = OpenAI(base_url="https://relay-llm.ru/v1", api_key=os.environ["RELAY_API_KEY"])
for model in ["claude-sonnet-5-5", "gpt-6-sol", "gemini-3.8-flash"]:
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Чем процесс отличается от потока? Два предложения."}],
)
print(model, reply.usage.prompt_tokens, reply.usage.completion_tokens)
print(reply.choices[0].message.content)Три вендора, один ключ, один формат ответа. Расход каждого вызова читайте из поля usage: именно по нему сверяют списание в журнале.
Что спросить у любого шлюза до пополнения
| Вопрос | Как отвечает Relay |
|---|---|
| Какие модели и версии доступны | список в каталоге и в методе GET /v1/models |
| Какие протоколы принимает | OpenAI Chat Completions, Responses и Anthropic Messages |
| Как считается расход | токены умножаются на цену из карточки, результат округляется вверх; изображения считаются за картинку, видео за секунду |
| Что с данными | тексты запросов и ответов Relay не хранит, поставщик модели получает их целиком; записи о запросах (модель, токены, стоимость, время) живут 90 дней |
| Какие лимиты | на ключ задаются суточный лимит расходов, лимит запросов в минуту и список моделей |
| Что при нулевом балансе | запрос получает ошибку 402 |
| Что при сбое поставщика | см. блок ниже |
Подробности про хранение собраны на странице безопасности. Там же честная оговорка: сертификаты и гарантии доступности Relay не заявляет.
Когда лучше обойтись без агрегатора
Есть три ситуации, где другой путь честнее.
Вы работаете с одним вендором и можете оформить доступ у него напрямую. Посредник тогда лишь добавляет звено, а прямой ключ отдаёт все функции поставщика без оговорок.
Промпты нельзя выпускать за пределы вашей инфраструктуры. Поднимите собственный прокси на своём сервере и храните ключи вендоров у себя.
Вам нужны функции, которые шлюз способен не пропустить: пакетная обработка, дообучение, редкие параметры. Прогоните нужную функцию живым запросом, прежде чем пополнять баланс.
Если сомневаетесь, пополните баланс на небольшую сумму и проведите через шлюз один рабочий сценарий. Живые запросы расскажут о совместимости больше любой таблицы. Следите за журналом запросов: в нём видно, какая модель отработала, сколько токенов ушло и во что обошёлся вызов, так что расхождения заметны с первого дня.
Что такое агрегатор нейросетей?
Сервис, который выставляет модели разных поставщиков за одним адресом и ключом, ведёт общий баланс и понимает привычный формат запросов. Нужную модель вы называете в поле model.
Чем доступ через шлюз отличается от прямого API?
Вы получаете один ключ, один счёт и единый формат запросов. Платите за это посредником: он видит ваши запросы, а возможности вендора доступны, пока шлюз их передаёт дальше.
Есть ли в Relay бесплатные модели?
В каталоге есть модель с пометкой Free, deepseek-v4.1-flash-1017-free. Условия смотрите в её карточке. Для остальных моделей токены списываются с баланса, подписки нет.