LlamaIndex API: подключение и настройка моделей
В LlamaIndex для чужого адреса нужен класс OpenAILike: класс OpenAI проверяет имя модели по своему списку и для чужих идентификаторов падает.
- Тип: Фреймворк и SDK
- Протокол: OpenAI Chat Completions
- Статус: Работает
Что заработает
| Возможность | Отметка | Примечание |
|---|---|---|
| Чат | Да | |
| Потоковый ответ | Да | |
| Эмбеддинги | Нет | У шлюза нет /v1/embeddings: векторный поиск требует другой модели эмбеддингов. |
Настройка
Понадобятся ключ из раздела «Ключи» кабинета и идентификатор модели. В примерах подставлена модель gpt-5.6-luna; для протокола Anthropic Messages подставлена claude-haiku-5-5. Свою модель выбирайте в каталоге.
Клиенту нужен ключ. Задайте его в переменной окружения RELAY_API_KEY: примеры ниже читают ключ оттуда. Чтобы переменная сохранялась между сеансами, добавьте строку export в ~/ (bash: ~/, bash на macOS: ~/), в PowerShell вызовите [Environment]::SetEnvironmentVariable с областью User, в cmd выполните setx и откройте новое окно. Окно, открытое до setx, переменную не увидит.
Ключ в переменной окружения
macOS и Linux
read -rs RELAY_API_KEY && export RELAY_API_KEYWindows PowerShell
$env:RELAY_API_KEY = "YOUR_API_KEY"Windows cmd
set "RELAY_API_KEY=YOUR_API_KEY"- Установите пакет
llama-index-llms-openai-likeи задайте ключ в переменнойRELAY_API_KEY. - Создайте
OpenAILikeсapi_basehttps://, моделью из каталога (в примереrelay-llm.ru/ v1 gpt-5.6-luna) и флагомis_chat_model=.True
OpenAILike
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="gpt-5.6-luna",
api_base="https://relay-llm.ru/v1",
api_key=os.environ["RELAY_API_KEY"],
is_chat_model=True,
context_window=128000,
)
print(llm.complete("ping"))Проверка
Сначала проверьте ключ и адрес без клиента. В ответе должно быть is_active: true.
macOS и Linux
curl https://relay-llm.ru/v1/key \
-H "Authorization: Bearer $RELAY_API_KEY"Windows PowerShell
curl.exe https://relay-llm.ru/v1/key `
-H "Authorization: Bearer $env:RELAY_API_KEY"Windows cmd
curl https://relay-llm.ru/v1/key ^
-H "Authorization: Bearer %RELAY_API_KEY%"Затем проверьте сам клиент.
Запустите пример: он напечатает ответ модели. Запись видна в журнале запросов кабинета.
Запрос из клиента появится в журнале запросов кабинета с моделью, токенами и стоимостью.
Ограничения протоколов
OpenAI Chat Completions
Работают чат-модели каталога по пути /. Не поддерживаются /, /, /, /, Assistants и Realtime: функции клиента, которым они нужны, не заработают.
Ловушки
- Класс
OpenAIотвечает ошибкой «Unknown model» для чужих идентификаторов, сменаapi_baseне помогает. ИспользуйтеOpenAILike. - Без
is_chat_model=приходят ответы 404 и странные ошибки: клиент обращается к текстовому методу API, которого у шлюза нет.True - Эмбеддинги LlamaIndex через шлюз не заработают: у него нет
/. Подключите локальную модель эмбеддингов.v1/ embeddings
Ссылки
Официальная документация: LlamaIndex API: подключение и настройка моделей
Подключение клиентов: общие сведения и все клиенты