К содержимому

LangChain (Python) API: настройка и подключение

В LangChain для Python шлюз подключается классами ChatOpenAI (адрес с /v1) и ChatAnthropic (адрес без /v1).

  • Тип: Фреймворк и SDK
  • Протокол: OpenAI Chat Completions, Anthropic Messages
  • Статус: Работает
Настройки сверены с официальной документацией клиента, 2026-10-02. Не проверено вручную: запуск клиента против шлюза не выполнялся.

Что заработает

ВозможностьОтметкаПримечание
ЧатДа
Потоковый ответДа
Вызов инструментовДаРаботает у моделей с поддержкой инструментов.

Настройка

Понадобятся ключ из раздела «Ключи» кабинета и идентификатор модели. В примерах подставлена модель gpt-5.6-luna; для протокола Anthropic Messages подставлена claude-haiku-5-5. Свою модель выбирайте в каталоге.

Клиенту нужен ключ. Задайте его в переменной окружения RELAY_API_KEY: примеры ниже читают ключ оттуда. Чтобы переменная сохранялась между сеансами, добавьте строку export в ~/.zshrc (bash: ~/.bashrc, bash на macOS: ~/.bash_profile), в PowerShell вызовите [Environment]::SetEnvironmentVariable с областью User, в cmd выполните setx и откройте новое окно. Окно, открытое до setx, переменную не увидит.

Ключ в переменной окружения

macOS и Linux

bash
read -rs RELAY_API_KEY && export RELAY_API_KEY

Windows PowerShell

bash
$env:RELAY_API_KEY = "YOUR_API_KEY"

Windows cmd

bash
set "RELAY_API_KEY=YOUR_API_KEY"
  1. Установите langchain-openai (или langchain-anthropic) и задайте ключ в переменной RELAY_API_KEY.
  2. Передайте base_url и api_key в конструктор. Модель укажите из каталога, в примере gpt-5.6-luna.

ChatOpenAI

python
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="gpt-5.6-luna",
    base_url="https://relay-llm.ru/v1",
    api_key=os.environ["RELAY_API_KEY"],
)
print(llm.invoke("ping").content)

ChatAnthropic

python
import os
from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(
    model="claude-haiku-5-5",
    base_url="https://relay-llm.ru",
    api_key=os.environ["RELAY_API_KEY"],
)
print(llm.invoke("ping").content)

Проверка

Сначала проверьте ключ и адрес без клиента. В ответе должно быть is_active: true.

macOS и Linux

bash
curl https://relay-llm.ru/v1/key \
  -H "Authorization: Bearer $RELAY_API_KEY"

Windows PowerShell

bash
curl.exe https://relay-llm.ru/v1/key `
  -H "Authorization: Bearer $env:RELAY_API_KEY"

Windows cmd

bash
curl https://relay-llm.ru/v1/key ^
  -H "Authorization: Bearer %RELAY_API_KEY%"

Затем проверьте сам клиент.

Запустите пример: он напечатает ответ модели. Запись видна в журнале запросов кабинета.

Запрос из клиента появится в журнале запросов кабинета с моделью, токенами и стоимостью.

Ограничения протоколов

OpenAI Chat Completions

Работают чат-модели каталога по пути /v1/chat/completions. Не поддерживаются /v1/embeddings, /v1/audio/*, /v1/moderations, /v1/batches, Assistants и Realtime: функции клиента, которым они нужны, не заработают.

Anthropic Messages

Работают модели, которые принимают этот протокол. Модели GPT по пути /v1/messages недоступны: шлюз не переводит протоколы друг в друга. Адрес для клиентов Anthropic указывается без /v1.

Ловушки

  • LangChain читает переменную OPENAI_API_BASE, а официальный SDK OpenAI читает OPENAI_BASE_URL. Надёжнее передавать адрес параметром.
  • ChatOpenAI реализует только официальную спецификацию OpenAI: нестандартные поля ответов сторонних провайдеров, например рассуждения, он не извлекает.
  • Для ChatAnthropic адрес задаётся без /v1. Переменные ANTHROPIC_API_URL и ANTHROPIC_BASE_URL тоже читаются.

Официальная документация: LangChain (Python) API: настройка и подключение

Подключение клиентов: общие сведения и все клиенты

Обработка ошибок и повторы

Модели и ключ: список моделей в API

Ключи в кабинете

Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key