Шлюз стоит между приложением и API моделей. Он принимает привычный запрос, проверяет ключ, считает расход и передаёт запрос дальше. Для вас это один адрес и один ключ вместо отдельных аккаунтов.
Статьи объясняют, чем шлюз отличается от прямого API и от облачных платформ, и сравнивают OpenRouter, LiteLLM и сервисы с наблюдаемостью. Relay сам работает как шлюз и сохраняет форматы OpenAI и Anthropic, но отличия от оригиналов всё же есть, и перечислены они на странице про совместимость. Прочитайте её до миграции, а не после первой странной ошибки.