К содержимому
Блог

LLM: что это в ИТ и как приложение вызывает модель

LLM: что это в ИТ и как приложение вызывает модель

LLM в ИТ, или large language model, это большая языковая модель: нейросеть, которая обрабатывает языковой контекст и генерирует продолжение. Она может отвечать на вопросы, редактировать текст и писать код. Чтобы встроить её в приложение, разработчик передаёт сообщения через API и обрабатывает ответ. Relay предоставляет такой доступ к моделям; интерфейс, поиск по своим документам и проверку действий создаёт разработчик.

Что такое LLM в ИТ: модель, чат-бот или API?

Эти понятия описывают разные части системы. Модель получает вход и вычисляет ответ. API задаёт способ обращения к ней: адрес, авторизацию, поля запроса и формат результата. Чат-бот добавляет экран переписки, историю и вход пользователя.

Например, посетитель магазина спрашивает: «Когда приедет заказ?» Самой модели неизвестны ни номер заказа, ни его состояние. Сервер магазина проверяет, чей это заказ, получает дату доставки из базы и передаёт её модели вместе с вопросом. Модель формулирует ответ. Срок доставки берётся из базы.

КомпонентЧто выполняет в этом примере
ПриложениеПроверяет пользователя и получает сведения о заказе
APIПринимает сообщения и возвращает результат вызова
LLMФормулирует ответ по переданным сведениям
ИнтерфейсПоказывает ответ и ссылку на заказ

У модели нет самостоятельного доступа к вашей базе. Если агент умеет читать файлы или создавать задачи, эти операции предоставляет и разрешает приложение через инструменты.

Как модель получает контекст и зачем нужны токены?

Контекст содержит инструкцию, вопрос и сведения для ответа. В Chat Completions это массив messages. Системное сообщение задаёт правила, пользовательское передаёт задачу. Для продолжения диалога приложение добавляет нужные предыдущие сообщения: отдельный вызов API не означает, что модель автоматически получила всю переписку.

Текст обрабатывается токенами. Токен может соответствовать слову, части слова или знаку; число символов не даёт точного числа токенов. Инструкция, история и приложенные выдержки занимают входной контекст. Сгенерированный ответ тоже содержит токены.

У каждой модели есть предел контекста. Если нужно найти один пункт договора, сначала выберите подходящий фрагмент, а затем передайте его вместе с вопросом. Отправка всего архива увеличивает объём запроса и может скрыть нужный пункт среди лишнего текста. Для поддерживаемого маршрута оценка входа описана в руководстве по подсчёту токенов.

Как вызвать LLM из Python?

Возьмите текстовую модель из каталога. Пример использует gpt-6-sol и установленный пакет openai. Сохраните ключ Relay в переменной окружения RELAY_API_KEY серверного процесса. OpenAI-совместимый базовый адрес: https://relay-llm.ru/v1.

python
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["RELAY_API_KEY"],
    base_url="https://relay-llm.ru/v1",
    max_retries=0,
)

response = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[
        {"role": "system", "content": "Отвечай только по фактам из запроса."},
        {"role": "user", "content": (
            "Статус заказа: передан курьеру. Дата доставки пока неизвестна. "
            "Ответь покупателю, когда приедет заказ."
        )},
    ],
)

if not response.choices:
    raise RuntimeError("Нет вариантов ответа")
text = response.choices[0].message.content
if not text:
    raise RuntimeError("Модель не вернула текст")
print(text)

Ожидаемое поведение: модель сообщает, что дата пока неизвестна. Если она придумывает срок, ответ нельзя показывать как сведения магазина. Пример проверяет одну простую задачу, но не доказывает точность модели на всех вопросах.

Параметр max_retries=0 отключает автоматические повторы SDK для этого опыта. Ошибку можно разобрать отдельно по справочнику API. Ключ держите на сервере: посетитель сайта может прочитать секрет из браузерного кода.

Какие ответы нельзя принимать без проверки?

LLM может выдать правдоподобный неверный факт. Просьба «не ошибайся» этого не исключает. Проверяйте даты, суммы и статусы по источнику; показывайте ссылку на документ, если ответ основан на выдержке.

Для JSON проверяйте синтаксис, типы полей и допустимые значения. Текст, похожий на объект, ещё не подходит для записи в базу. При ошибке разбора оставьте исходные сведения и отправьте результат на проверку.

Автоматическое действие требует отдельной проверки. Если модель предложила вернуть деньги или удалить файл, сервер должен проверить полномочия пользователя и параметры операции. Инструкция в промпте не заменяет права доступа.

До запуска соберите короткие тесты: вопрос с известным ответом, вопрос без нужных сведений и попытку получить чужой заказ. Первый проверяет точность, второй умение признать нехватку информации, третий правила вашего приложения.

Как оценить расход первого эксперимента?

Сначала отправьте один короткий запрос. Затем посмотрите usage в ответе и актуальные ставки выбранной модели в каталоге. Для текста расход зависит от входных и выходных токенов; повторный вызов учитывается отдельно. Сравнивайте варианты на одинаковых задачах, иначе длинный документ и короткий вопрос дадут несопоставимые расходы.

LLM: что это в ИТ простыми словами?

Это языковая нейросеть, которая строит ответ по контексту. В приложении её вызывают через API, а интерфейс и работу с базой создают отдельно.

LLM всегда знает свежие факты?

Нет. Для актуального статуса заказа, цены или внутренней инструкции приложение должно передать проверенные сведения.

Можно ли заменить поиск языковой моделью?

Для поиска по своим документам сначала нужен механизм получения подходящих фрагментов. Модель может составить ответ по ним, но доступ к документам сам не появляется.

Нужно ли обучать модель для первого вызова?

Нет. Можно отправить задачу готовой модели через Chat Completions API и оценить ответ на своих примерах.

Создать аккаунт

Модели из статьи

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.