К содержимому
Блог

Как подключить Open WebUI к API Relay

Как подключить Open WebUI к API Relay

Open WebUI подключается к Relay как к OpenAI-совместимому API. Используйте адрес https://relay-llm.ru/v1, отдельный API-ключ и модель из каталога. Подключение можно задать при первом старте Docker или через раздел Connections в админке Open WebUI.

Коротко

  • Для Open WebUI нужен URL https://relay-llm.ru/v1.

  • После первого запуска настройки из админки и базы могут быть сильнее переменных Docker.

  • Чат работает через Relay, а эмбеддинги для RAG нужно выбрать встроенные в Open WebUI.

Запуск Open WebUI в Docker

Сначала создайте отдельный ключ в кабинете и задайте его в RELAY_API_KEY в окружении хоста. Команда ниже запускает Open WebUI и передаёт подключение к Relay без записи ключа в файл compose или репозиторий.

bash
docker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL="https://relay-llm.ru/v1" \
  -e OPENAI_API_KEY="$RELAY_API_KEY" \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Откройте Open WebUI в браузере, завершите его первоначальную настройку и выберите модель из списка. Если модели не отобразились, добавьте их идентификаторы вручную из каталога Relay, затем отправьте короткое сообщение.

Подключение через админку Open WebUI

У работающей установки переменные окружения действуют только при первом запуске. Далее Open WebUI хранит PersistentConfig в своём томе и настройки в админке имеют приоритет. Откройте Settings, Admin Settings, Connections, Manage OpenAI API Connections, затем Add Connection.

Введите URL https://relay-llm.ru/v1, ключ Relay и список идентификаторов моделей. Не используйте localhost: Relay уже доступен по публичному адресу, и контейнеру не нужен доступ к хостовой сети.

Проверка чата Open WebUI

  1. Создайте ключ

    В кабинете создайте ключ для Open WebUI. Не используйте ключ от серверного приложения.

  2. Добавьте подключение

    Укажите URL https://relay-llm.ru/v1 в Docker-переменной при первом запуске или в Connections работающего Open WebUI.

  3. Выберите модель

    Скопируйте идентификатор из каталога. Если список в Open WebUI пуст, добавьте его вручную.

  4. Проверьте журнал

    Отправьте «ping» в новом чате и проверьте запрос в журнале Relay.

Ограничение для RAG

Open WebUI получает список моделей через /v1/models и отправляет чат через OpenAI Chat Completions. Но Relay не предоставляет /v1/embeddings. Поэтому RAG не сможет использовать эмбеддинги Relay. Для векторизации выберите встроенную модель эмбеддингов Open WebUI.

Если настройки Docker изменились, а интерфейс продолжает ходить на старый адрес, проверьте Connections в админке. PersistentConfig переживает перезапуск контейнера вместе с томом open-webui.

Полный список полей и проверок доступен на странице Open WebUI. Формат совместимого API описан в документации Chat Completions.

Какой Base URL указать в Open WebUI?

Используйте https://relay-llm.ru/v1.

Почему после перезапуска не применились новые Docker-переменные?

Open WebUI сохраняет настройки в PersistentConfig. Измените подключение через Admin Settings, Connections.

Можно ли использовать Relay для RAG-эмбеддингов?

Нет. У Relay нет /v1/embeddings. Для RAG выберите встроенный источник эмбеддингов Open WebUI.

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.