Как подключить LLM API к Python
Для Python-приложения безопаснее всего хранить ключ и идентификатор модели в переменных окружения. Ключ не должен попадать в исходный код, браузер, мобильное приложение или журнал CI.
Коротко
OpenAI SDK подключается к
https://relay-llm.ru/v1.Ключ читайте из
RELAY_API_KEY.Идентификатор модели копируйте из каталога.
Подготовьте переменные
Создайте ключ в кабинете, затем передайте его процессу приложения. Значение RELAY_MODEL не придумывайте: возьмите точный id из каталога или ответа GET https://relay-llm.ru/v1/models.
В настройках процесса задайте RELAY_API_KEY и RELAY_MODEL. В рабочем окружении переменные передают средствами платформы развертывания. Локальный .env не добавляйте в Git.
Отправьте первый запрос
Установите библиотеку openai, если она ещё не установлена, и создайте клиент в серверном модуле с базовым адресом https://relay-llm.ru/v1. В примере ниже client уже создан, а значения берутся из окружения приложения.
response = client.chat.completions.create(
model=os.environ["RELAY_MODEL"],
messages=[
{"role": "user", "content": "Напиши одно предложение о Python."},
],
)
print(response.choices[0].message.content)В примере нет ключа. Проверьте наличие RELAY_API_KEY и RELAY_MODEL до сетевого вызова. Так проще диагностировать конфигурацию, чем пустой или неверный заголовок авторизации.
Проверьте ответ и обработайте ошибки
Для первого запроса используйте короткое сообщение и не включайте поток. При ошибке сохраните HTTP-статус, код ошибки и request_id из тела ответа. По ним проще сопоставить событие с журналом запросов в кабинете.
Коды 401, 402, 403, 404 и 429 требуют разных действий. Не повторяйте их единым циклом. Таблица причин и правила повтора находятся в документации ошибок, а поля Chat Completions описаны на странице маршрута.
Что добавить после первого ответа
Следующим шагом обычно становится потоковая передача. Она выдаёт фрагменты ответа по мере поступления, поэтому цикл чтения нужен и для вывода текста, и для корректного завершения операции. Пример есть в документации streaming.
Если приложение использует Anthropic SDK, не меняйте в нём путь вручную. Для Messages API базовый адрес отличается: https://relay-llm.ru без /v1. Сверьте настройку с руководством Messages API.