К содержимому
Блог

Как подключить LLM API к Python

Как подключить LLM API к Python

Для Python-приложения безопаснее всего хранить ключ и идентификатор модели в переменных окружения. Ключ не должен попадать в исходный код, браузер, мобильное приложение или журнал CI.

Коротко

  • OpenAI SDK подключается к https://relay-llm.ru/v1.

  • Ключ читайте из RELAY_API_KEY.

  • Идентификатор модели копируйте из каталога.

Подготовьте переменные

Создайте ключ в кабинете, затем передайте его процессу приложения. Значение RELAY_MODEL не придумывайте: возьмите точный id из каталога или ответа GET https://relay-llm.ru/v1/models.

В настройках процесса задайте RELAY_API_KEY и RELAY_MODEL. В рабочем окружении переменные передают средствами платформы развертывания. Локальный .env не добавляйте в Git.

Отправьте первый запрос

Установите библиотеку openai, если она ещё не установлена, и создайте клиент в серверном модуле с базовым адресом https://relay-llm.ru/v1. В примере ниже client уже создан, а значения берутся из окружения приложения.

python
response = client.chat.completions.create(
    model=os.environ["RELAY_MODEL"],
    messages=[
        {"role": "user", "content": "Напиши одно предложение о Python."},
    ],
)

print(response.choices[0].message.content)

В примере нет ключа. Проверьте наличие RELAY_API_KEY и RELAY_MODEL до сетевого вызова. Так проще диагностировать конфигурацию, чем пустой или неверный заголовок авторизации.

Проверьте ответ и обработайте ошибки

Для первого запроса используйте короткое сообщение и не включайте поток. При ошибке сохраните HTTP-статус, код ошибки и request_id из тела ответа. По ним проще сопоставить событие с журналом запросов в кабинете.

Коды 401, 402, 403, 404 и 429 требуют разных действий. Не повторяйте их единым циклом. Таблица причин и правила повтора находятся в документации ошибок, а поля Chat Completions описаны на странице маршрута.

Что добавить после первого ответа

Следующим шагом обычно становится потоковая передача. Она выдаёт фрагменты ответа по мере поступления, поэтому цикл чтения нужен и для вывода текста, и для корректного завершения операции. Пример есть в документации streaming.

Если приложение использует Anthropic SDK, не меняйте в нём путь вручную. Для Messages API базовый адрес отличается: https://relay-llm.ru без /v1. Сверьте настройку с руководством Messages API.

Первый запрос из Python

  1. Создайте отдельный ключ

    Откройте раздел «Ключи» и сохраните ключ в настройках сервера.

  2. Выберите идентификатор

    Откройте каталог, проверьте протокол и скопируйте id в RELAY_MODEL.

  3. Выполните короткий запрос

    Запустите пример с одним сообщением и сохраните request_id, если сервер вернул ошибку.

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.