К содержимому
Блог

Лучшие нейросети для анализа текста: сравнение по API

Лучшие нейросети для анализа текста: сравнение по API

Лучшие нейросети для анализа текста выбирают под конкретный результат: извлечь даты, классифицировать обращения, найти противоречия или сделать резюме. Один общий рейтинг не проверит все эти задачи. В Relay можно сравнить gpt-6-sol и claude-sonnet-5 на одинаковых документах через Chat Completions. Заранее задайте правильные ответы, проверьте цитаты и пропуски, затем сопоставьте качество с расходом.

Как выбрать лучшие нейросети для анализа текста

Сначала назовите результат, который приложение сможет принять или отклонить. «Проанализируй письмо» не задаёт такого условия. «Найди дату поставки и приведи точную цитату; если даты нет, верни null» задаёт проверяемый ответ.

Выберите кандидатов в каталоге и проверьте нужный протокол. Сведения о модели не подтверждают качество на вашем корпусе: для этого нужен тест. Статья предлагает метод сравнения и не приписывает GPT или Claude преимущество без измерений.

ЗадачаПример ошибки, которую нужно учитывать
Извлечение датыМодель взяла дату письма вместо даты события
Классификация обращенияВыбрана категория вне допустимого списка
Поиск противоречийРазличные периоды ошибочно объявлены конфликтом
РезюмеПропущена оговорка, меняющая смысл вывода

Для каждой задачи нужен свой контрольный ответ. Красивое резюме не доказывает точность извлечения полей, а валидный JSON не подтверждает верность фактов внутри него.

Как собрать набор документов для проверки

Возьмите обычный пример, случай без нужного факта, текст с противоречием и документ с похожими числами. Добавьте случаи, на которых прежняя обработка ошибалась. Уберите сведения, которые нельзя передавать внешнему API.

Разметьте ответы до сравнения моделей. Для даты укажите само значение и цитату-основание; для классификации допустимую категорию; для резюме обязательные факты. Если два проверяющих расходятся в правильном ответе, сначала уточните условие задачи.

Не меняйте способ деления длинного документа между моделями. Если одна получает полный текст, а другая только начало, сравнение не покажет разницу моделей. Сохраните порядок частей и ссылки на исходные фрагменты.

Как проверить извлечение факта через API

Следующий пример использует Python с пакетом openai и ключом RELAY_API_KEY. Учебный текст намеренно не содержит дату поставки: правильный результат должен оставить delivery_date пустым.

python
import json
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["RELAY_API_KEY"],
    base_url="https://relay-llm.ru/v1",
)
source = "Поставка перенесена. Новая дата пока не согласована."
rules = (
    'Верни только JSON с полями delivery_date и evidence. '
    'delivery_date: дата поставки строкой или null, если даты нет. '
    'evidence: точная цитата из входа, на которой основан ответ. '
    'Не считай дату письма датой поставки. Не добавляй пояснений.'
)
for model_id in ("gpt-6-sol", "claude-sonnet-5"):
    reply = client.chat.completions.create(
        model=model_id,
        messages=[
            {"role": "system", "content": rules},
            {"role": "user", "content": source},
        ],
        max_tokens=300,
    )
    raw = reply.choices[0].message.content or ""
    try:
        result = json.loads(raw)
        if not isinstance(result, dict):
            raise ValueError("Ожидался объект")
        if set(result) != {"delivery_date", "evidence"}:
            raise ValueError("Неверный набор полей")
        quote = result["evidence"]
        if not isinstance(quote, str) or not quote.strip() or quote not in source:
            raise ValueError("Цитата отсутствует в исходнике")
        if result["delivery_date"] is not None:
            raise ValueError("Во входе нет даты поставки")
        print(model_id, "прошёл этот пример", result)
    except ValueError as error:
        print(model_id, "не прошёл", str(error), raw)

Код делает по одному платному вызову каждой модели. Он проверяет конкретный случай, а не общий уровень анализа. Для текста с датой понадобится другая ожидаемая величина. Формат запроса смотрите в документации Chat Completions.

Как отделить проверку схемы от проверки смысла

Парсер ловит незакрытую скобку и лишний текст перед JSON. Схема ловит отсутствующее поле или неверный тип. Сравнение цитаты с источником ловит выдуманный фрагмент. Но существующая цитата всё ещё может не подтверждать вывод: это проверяется по смыслу.

Например, цитата о прежнем сроке не подтверждает новую дату. В разметке храните связь между полем и основанием, а редактору показывайте фрагмент вместе с соседним предложением. Это поможет заметить отрицание или условие, которое модель пропустила.

Не просите модель оценить собственную уверенность вместо проверки. Число в ответе не сообщает, сколько ошибок было на вашем наборе. Отмечайте верные значения, пропуски и лишние утверждения отдельно.

Как сравнить качество и стоимость

Прогоните весь набор с одним шаблоном на обеих моделях. Для каждой запишите число принятых ответов и причины отказов. Обязательную ошибку, например выдуманную дату, не прячьте в средней оценке стиля.

Разделите фактический расход на число принятых результатов. Включите повторные вызовы; время ручной проверки учитывайте отдельной величиной. Если одна модель требует больше исправлений, низкая цена запроса сама по себе не делает её выгоднее. Ставки есть на странице цен, стоимость вызовов в журнале кабинета.

После выбора модели сохраните набор. При изменении промпта повторите его, добавив найденные в работе ошибки. Исправленный вручную ответ не должен заменять исходный результат модели: иначе следующая проверка потеряет свидетельство ошибки.

GPT-6 Sol0,38 $ за 1 млн входных токенов

Каталог моделей

FAQ

Какие лучшие нейросети для анализа текста выбрать для документов?

Сравните кандидатов на своих типах документов и заранее размеченных ответах. Начать можно с GPT и Claude из каталога Relay, не назначая победителя до теста.

Достаточно ли проверить, что JSON разбирается?

Нет. Проверьте типы, фактические значения, полноту и цитаты. Синтаксически правильный объект может содержать выдуманную дату.

Как анализировать текст без нужного факта?

Задайте явное пустое значение, например null, и включите такой случай в тест. Уверенную догадку считайте ошибкой.

Создать аккаунт

Модели из статьи

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.