К содержимому
Блог

LiteLLM Proxy: подключение Relay как API-провайдера

LiteLLM Proxy: подключение Relay как API-провайдера

LiteLLM Proxy нужен, когда приложению требуется дополнительный локальный слой перед API: единая точка для нескольких внутренних клиентов, собственная маршрутизация или правила, которые вы готовы администрировать. Если приложение делает один вызов к Relay, прокси добавит конфигурацию и ещё одну точку отказа. Сначала проверьте прямой запрос, затем добавляйте LiteLLM и сравните оба пути по одному сообщению.

Коротко

  • Прокси оправдан, когда он решает конкретную внутреннюю задачу.

  • Секрет Relay храните в окружении прокси, не в клиентском коде и не в YAML в репозитории.

  • Отдельно проверяйте Relay и адрес LiteLLM, иначе ошибки смешаются.

Когда ставить LiteLLM перед Relay

Прокси полезен, если несколько приложений должны ходить на один внутренний адрес или если вы хотите централизованно управлять правилами клиентов. Он не добавляет модели и не меняет доступность модели в Relay. Каталог и фактическая стоимость остаются на стороне Relay, а LiteLLM становится вашим компонентом, за обновление, логи и доступ к которому отвечает ваша команда.

Для одной программы начните с прямого подключения к https://relay-llm.ru/v1. Оно проще для диагностики. Если позже появится потребность в собственном маршруте, добавьте прокси в отдельном окружении и не меняйте одновременно модель, промпт и ключ.

Как настроить LiteLLM Proxy: config.yaml и base URL

Сохраните конфигурацию ниже как config.yaml. model_name задаёт имя для ваших приложений, а litellm_params.model выбирает модель Relay. Префикс openai/ указывает LiteLLM на Chat Completions; в Relay уйдёт gpt-6-sol без этого префикса. LiteLLM base URL задаётся полем api_base.

Не записывайте рабочий ключ как строку в конфигурационный файл. Передайте его окружению контейнера или менеджеру секретов. В репозитории оставьте только пример с именем переменной. Модель выбирайте по каталогу, а не по внутреннему псевдониму, если хотите быстро найти ошибку.

yaml
model_list:
  - model_name: gpt-6-sol
    litellm_params:
      model: openai/gpt-6-sol
      api_base: https://relay-llm.ru/v1
      api_key: os.environ/RELAY_API_KEY
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Задайте две разные переменные в окружении прокси. RELAY_API_KEY нужен для исходящих вызовов к Relay, LITELLM_MASTER_KEY защищает вход в ваш прокси. Приложению передают ключ прокси, а не секрет Relay. В публикациях используйте только нерабочий пример sk-demo-not-a-real-key; настоящий master key должен быть отдельным секретом.

Если LiteLLM уже установлен в вашем окружении, запустите его командой litellm --config config.yaml. Проверьте в журнале запуска, что загружена модель gpt-6-sol. Синтаксис относится к конфигурации LiteLLM Proxy; при обновлении сверяйте его с руководством вашей версии.

GPT-6 Sol0,38 $ за 1 млн входных токенов

Как проверить путь напрямую и через прокси

Сначала отправьте короткий запрос напрямую к Relay. Если он отвечает, найдите запись в журнале кабинета. Затем задайте в окружении приложения LITELLM_BASE_URL: адрес вашего запущенного прокси с суффиксом /v1, без /chat/completions. Переменная LITELLM_API_KEY содержит входной ключ прокси; для локальной пробы это значение LITELLM_MASTER_KEY.

bash
curl https://relay-llm.ru/v1/chat/completions \
  -H "Authorization: Bearer $RELAY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-6-sol","messages":[{"role":"user","content":"ping"}]}'

Теперь проверьте LiteLLM API с именем из model_name:

bash
curl --fail-with-body "$LITELLM_BASE_URL/chat/completions" \
  -H "Authorization: Bearer $LITELLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-6-sol","messages":[{"role":"user","content":"ping"}]}'

В этом конфиге внешнее и внутреннее имя совпадают: gpt-6-sol. При желании можно задать другое model_name, но тогда его будут использовать только клиенты прокси; Relay по-прежнему должен получать ID из своего каталога. Для связи двух журналов используйте время, отдельный ключ установки и модель: идентификатор запроса у прокси может отличаться от идентификатора Relay.

Как передать настройки контейнеру

При запуске LiteLLM в Docker смонтируйте config.yaml только для чтения и передайте RELAY_API_KEY вместе с LITELLM_MASTER_KEY через секреты платформы. Образ и команду запуска выберите по руководству своей версии; зафиксируйте версию образа. Не встраивайте секреты в образ. Ограничьте права на чтение конфигурации и не выводите переменные в диагностике. Для пробы на одной машине ограничьте публикацию порта адресом 127.0.0.1, например сопоставлением 127.0.0.1:4000:4000. Для других машин отдельно настройте сетевой доступ и TLS.

Перед развёртыванием проверьте, кто может вызвать прокси, как вы отзываете доступ и где храните логи. Эти вопросы относятся к вашей инфраструктуре, Relay не отвечает за правила доступа к вашему LiteLLM. У API Relay ключи можно выпускать отдельно для каждой установки, что помогает отозвать доступ одной установки.

Как разобрать ошибки

401 на прямом запросе требует проверить ключ Relay. При 401 через LiteLLM сначала выясните, кто вернул ошибку. Сам прокси проверяет LITELLM_API_KEY, а Relay получает RELAY_API_KEY из окружения прокси. Исправление одного секрета не заменяет другой. 404 требует проверить адрес: Relay ожидает базовый адрес с /v1, но клиент не должен добавлять путь метода дважды. Ошибка модели требует сверить ID с каталогом. При 429 проверьте лимиты и очередь собственных клиентов.

Не исправляйте ошибку увеличением числа повторов. Сохраните код ответа, время, маршрут и безопасный идентификатор запроса. Затем меняйте одну настройку и повторяйте короткую проверку. Для расходов и свойств моделей используйте страницу цен и журнал кабинета.

Как учесть стоимость двух уровней

В журнале Relay видны вызовы, которые дошли до Relay. У прокси дополнительно могут быть свои повторы и правила маршрутизации. Поэтому ответ одного внутреннего клиента не всегда равен одному внешнему запросу. На пробе отключите ненужные резервные маршруты и проверьте настройки повторов вашей версии LiteLLM.

Встроенная оценка стоимости LiteLLM может не знать тариф Relay для этой модели. Итог сверяйте по кабинету Relay и странице цен. Если меняете конфигурацию, сначала проверьте её с одним клиентом и сохраните предыдущий файл для отката. Не меняйте одновременно модель, секреты и маршрутизацию: при ошибке будет сложнее найти причину.

Нужен ли LiteLLM Proxy для одного приложения?

Обычно сначала проще подключить Relay напрямую. Добавляйте прокси, когда он решает понятную задачу маршрутизации или управления клиентами.

Где хранить RELAY_API_KEY?

В секретах среды исполнения прокси. Не в исходном коде, образе контейнера или конфиге, который публикуется в Git.

Как проверить, что запрос дошёл до Relay?

Сравните время тестового запроса с записью в журнале кабинета. Сначала проверьте прямой путь, затем путь через прокси.

Где смотреть формат запросов?

В документации Chat Completions и руководстве вашей версии LiteLLM.

Посмотреть модель

Модели из статьи

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.