К содержимому
Блог

LangChain и LlamaIndex: что выбрать для приложения с API

LangChain и LlamaIndex: что выбрать для приложения с API

Выбор между LangChain и LlamaIndex начинается с задачи приложения, а не с чужого списка победителей. LangChain подходит для сборки вызовов модели и инструментов. LlamaIndex удобно рассматривать для загрузки документов, индексации и ответов по данным. Возможности пересекаются: это ориентир для первого прототипа, а не запрет на другие задачи. В реальном проекте граница зависит от архитектуры, поэтому сравните оба клиента на одном небольшом сценарии, одной модели и одинаковых входных данных.

Коротко

  • Сформулируйте сценарий: оркестрация действий или работа с набором документов.

  • Подключите через Relay одну модель и один протокол, не меняя оба фактора сразу.

  • Оцените понятность прикладного кода, ответ, ошибки и расход на одинаковом наборе запросов.

LangChain и LlamaIndex: что сравнить на своей задаче

Оркестрация отвечает на вопрос, в каком порядке приложение вызывает модель, функцию, поиск или проверку. Работа с данными отвечает на другой вопрос: как загрузить документы, разбить их, найти релевантный фрагмент и показать источник пользователю. В одном приложении могут понадобиться оба слоя. Это не означает, что нужно подключать две библиотеки до первого рабочего прототипа.

Возьмите один пользовательский путь. Например: оператор задаёт вопрос по пяти внутренним инструкциям, приложение находит подходящие фрагменты и готовит ответ с перечислением использованных документов. Такой сценарий позволяет оценить работу с данными. Другой путь: заявка проходит классификацию, вызывает внутреннюю функцию и получает итог. Он лучше показывает потребность в оркестрации.

Запишите, что считается результатом до кода: формат ответа, способ показа источников, допустимое время, обработка пустого поиска и защита секретов. Без критериев сравнение сведётся к размеру примера из документации.

Как подключить модель в LangChain и LlamaIndex

Relay предоставляет Chat Completions по адресу https://relay-llm.ru/v1. У обеих библиотек есть настройка собственного адреса, но классы и имена аргументов отличаются. В Python-окружении нужны соответствующие пакеты langchain-openai и llama-index-llms-openai-like. Код читает ключ из RELAY_API_KEY; демонстрационное значение не работает.

Для LangChain используется ChatOpenAI. Параметр base_url задаёт адрес, invoke отправляет сообщение:

python
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="gpt-6-sol",
    base_url="https://relay-llm.ru/v1",
    api_key=os.environ.get("RELAY_API_KEY", "sk-demo-not-a-real-key"),
    max_retries=0,
)
print(llm.invoke("Ответь одним словом: ping").content)

Для LlamaIndex возьмите OpenAILike, у него адрес задаётся через api_base. Флаг is_chat_model=True выбирает чатовый метод. Обычный класс OpenAI может проверять имя по собственному списку моделей и отвергнуть ID Relay ещё до HTTP-запроса.

python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="gpt-6-sol",
    api_base="https://relay-llm.ru/v1",
    api_key=os.environ.get("RELAY_API_KEY", "sk-demo-not-a-real-key"),
    is_chat_model=True,
    max_retries=0,
)
print(llm.complete("Ответь одним словом: ping"))

Эти примеры проверяют текстовый вызов, без индекса и инструментов. Для большого контекста задайте в OpenAILike значение context_window по карточке модели, иначе библиотека может исходить из своего значения по умолчанию. Настройки JavaScript приведены отдельно на странице LangChain JS: не переносите в неё аргументы Python-класса.

GPT-6 Sol0,38 $ за 1 млн входных токенов

Где взять эмбеддинги для поиска по документам

Векторному поиску нужна модель эмбеддингов, которая превращает текст в векторы. У Relay нет /v1/embeddings: один ключ и настройка чат-модели не создадут готовый RAG. Подключите локальную модель эмбеддингов или отдельный сервис и храните индекс в выбранной вами базе. При поиске другим способом, например по ключевым словам, этап эмбеддингов не нужен.

Проверьте загрузку документов и поиск до генерации ответа. Сначала приложение должно показать найденные фрагменты и их источники без участия LLM. Если нужного фрагмента нет в выдаче поиска, смена чат-модели не исправит индекс. Ограничения подключения разобраны на странице LlamaIndex.

Как провести честный тест

Используйте одинаковые документы и вопросы. Если один прототип получает очищенный набор данных, а другой получает сырой архив, результаты несопоставимы. Зафиксируйте разбиение текста, язык вопросов, формат ответа и число попыток. Не меняйте модель, промпт и логику поиска в одном прогоне.

Соберите два маленьких приложения, каждое решает одну задачу. В первом списке пунктов отметьте: сколько прикладного кода понадобилось, где лежит настройка модели, как выводится источник, как обработан пустой результат и как выглядит ошибка. Во втором оцените качество: факт ответа подтверждён документом, источник отображён, ответ не выдумывает отсутствующие данные, человек понимает, что делать дальше.

Если сравниваете LlamaIndex vs LangChain для базы знаний, отдельно измеряйте качество поиска и ответа. Вопрос без ответа в документах должен дать отказ или уточнение, а не уверенную выдумку. Для сценария с инструментами проверьте другую ветку: функция отказала, модель получила ошибку, приложение остановилось без бесконечных повторов.

Почему запрос не доходит до модели

При 401 проверьте передачу секрета процессу. При 404 найдите фактический путь: нужен /v1/chat/completions, без повторного /v1 и без старого /completions. Ошибка Unknown model до HTTP-запроса указывает на проверку внутри библиотеки; в LlamaIndex проверьте выбор OpenAILike.

Повторы в примерах отключены через max_retries=0, чтобы одна ручная проверка не скрывала несколько попыток. В рабочем приложении настройте ограниченное число повторов с учётом кодов ошибок и Retry-After. Не выводите секрет в диагностический лог.

Как выбрать библиотеку после теста

Выбирайте ту, которая яснее выражает ваш основной путь и проще проверяется командой. Для приложения, где маршруты, инструменты и состояния важнее документов, проверьте, насколько прозрачно устроена оркестрация. Для приложения, которое отвечает по файлам, проверьте загрузку, источник каждого фрагмента и поведение при отсутствии данных.

Не обещайте пользователю, что библиотека сделает данные достоверными. И LangChain, и LlamaIndex требуют подготовки документов, оценки поиска и проверки ответов. Модель не знает, что индекс устарел или документ был отозван. Добавьте в тест такой случай и решите, что приложение должно показать вместо уверенного ответа.

Как учесть расходы

Для каждой попытки в тесте сохраняйте модель, объём входа, число вызовов и итог. Если одно решение отправляет в модель больше текста, разница появится в журнале. Сначала выберите модель по каталогу, затем сверяйте актуальные параметры на странице цен. Не переносите стоимость из старого бенчмарка: она не учитывает ваш набор данных и может устареть.

Добавьте в набор два неудобных случая. Первый документ должен почти подходить по словам, но отвечать на другой вопрос. Второй должен содержать старое правило, которое противоречит новому документу. Команда увидит, как прототип показывает неопределённость и как она решает конфликт источников. Это полезнее демонстрации, где каждый вопрос специально совпадает с первым абзацем файла.

Можно ли использовать LangChain и LlamaIndex вместе?

Можно, если это объясняет нужды приложения. Сначала докажите необходимость на одном сценарии, чтобы не получить два перекрывающихся слоя.

Какой Base URL передавать клиентам?

Для OpenAI-совместимого API используйте https://relay-llm.ru/v1. Точное имя поля смотрите в руководстве вашей версии библиотеки.

Как проверить, что ответ опирается на документ?

Подготовьте вопросы с известными фрагментами и требуйте отображать источник. Затем сверяйте ответ вручную с исходным текстом.

Где сравнивать расход прототипов?

В журнале запросов кабинета, а параметры моделей смотрите в каталоге и на странице цен.

Посмотреть модель

Модели из статьи

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.