К содержимому

LlamaIndex API: подключение и настройка моделей

В LlamaIndex для чужого адреса нужен класс OpenAILike: класс OpenAI проверяет имя модели по своему списку и для чужих идентификаторов падает.

  • Тип: Фреймворк и SDK
  • Протокол: OpenAI Chat Completions
  • Статус: Работает
Настройки сверены с официальной документацией клиента, 2026-10-02. Не проверено вручную: запуск клиента против шлюза не выполнялся.

Что заработает

ВозможностьОтметкаПримечание
ЧатДа
Потоковый ответДа
ЭмбеддингиНетУ шлюза нет /v1/embeddings: векторный поиск требует другой модели эмбеддингов.

Настройка

Понадобятся ключ из раздела «Ключи» кабинета и идентификатор модели. В примерах подставлена модель gpt-5.6-luna; для протокола Anthropic Messages подставлена claude-haiku-5-5. Свою модель выбирайте в каталоге.

Клиенту нужен ключ. Задайте его в переменной окружения RELAY_API_KEY: примеры ниже читают ключ оттуда. Чтобы переменная сохранялась между сеансами, добавьте строку export в ~/.zshrc (bash: ~/.bashrc, bash на macOS: ~/.bash_profile), в PowerShell вызовите [Environment]::SetEnvironmentVariable с областью User, в cmd выполните setx и откройте новое окно. Окно, открытое до setx, переменную не увидит.

Ключ в переменной окружения

macOS и Linux

bash
read -rs RELAY_API_KEY && export RELAY_API_KEY

Windows PowerShell

bash
$env:RELAY_API_KEY = "YOUR_API_KEY"

Windows cmd

bash
set "RELAY_API_KEY=YOUR_API_KEY"
  1. Установите пакет llama-index-llms-openai-like и задайте ключ в переменной RELAY_API_KEY.
  2. Создайте OpenAILike с api_base https://relay-llm.ru/v1, моделью из каталога (в примере gpt-5.6-luna) и флагом is_chat_model=True.

OpenAILike

python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="gpt-5.6-luna",
    api_base="https://relay-llm.ru/v1",
    api_key=os.environ["RELAY_API_KEY"],
    is_chat_model=True,
    context_window=128000,
)
print(llm.complete("ping"))

Проверка

Сначала проверьте ключ и адрес без клиента. В ответе должно быть is_active: true.

macOS и Linux

bash
curl https://relay-llm.ru/v1/key \
  -H "Authorization: Bearer $RELAY_API_KEY"

Windows PowerShell

bash
curl.exe https://relay-llm.ru/v1/key `
  -H "Authorization: Bearer $env:RELAY_API_KEY"

Windows cmd

bash
curl https://relay-llm.ru/v1/key ^
  -H "Authorization: Bearer %RELAY_API_KEY%"

Затем проверьте сам клиент.

Запустите пример: он напечатает ответ модели. Запись видна в журнале запросов кабинета.

Запрос из клиента появится в журнале запросов кабинета с моделью, токенами и стоимостью.

Ограничения протоколов

OpenAI Chat Completions

Работают чат-модели каталога по пути /v1/chat/completions. Не поддерживаются /v1/embeddings, /v1/audio/*, /v1/moderations, /v1/batches, Assistants и Realtime: функции клиента, которым они нужны, не заработают.

Ловушки

  • Класс OpenAI отвечает ошибкой «Unknown model» для чужих идентификаторов, смена api_base не помогает. Используйте OpenAILike.
  • Без is_chat_model=True приходят ответы 404 и странные ошибки: клиент обращается к текстовому методу API, которого у шлюза нет.
  • Эмбеддинги LlamaIndex через шлюз не заработают: у него нет /v1/embeddings. Подключите локальную модель эмбеддингов.

Официальная документация: LlamaIndex API: подключение и настройка моделей

Подключение клиентов: общие сведения и все клиенты

Обработка ошибок и повторы

Модели и ключ: список моделей в API

Ключи в кабинете

Готовы? Три шага, чтобы начатьВойдите в консоль · пополните баланс · создайте API Key