Лучшие нейросети для анализа текста: сравнение по API
Лучшие нейросети для анализа текста выбирают под конкретный результат: извлечь даты, классифицировать обращения, найти противоречия или сделать резюме. Один общий рейтинг не проверит все эти задачи. В Relay можно сравнить gpt-6-sol и claude-sonnet-5 на одинаковых документах через Chat Completions. Заранее задайте правильные ответы, проверьте цитаты и пропуски, затем сопоставьте качество с расходом.
Как выбрать лучшие нейросети для анализа текста
Сначала назовите результат, который приложение сможет принять или отклонить. «Проанализируй письмо» не задаёт такого условия. «Найди дату поставки и приведи точную цитату; если даты нет, верни null» задаёт проверяемый ответ.
Выберите кандидатов в каталоге и проверьте нужный протокол. Сведения о модели не подтверждают качество на вашем корпусе: для этого нужен тест. Статья предлагает метод сравнения и не приписывает GPT или Claude преимущество без измерений.
| Задача | Пример ошибки, которую нужно учитывать |
|---|---|
| Извлечение даты | Модель взяла дату письма вместо даты события |
| Классификация обращения | Выбрана категория вне допустимого списка |
| Поиск противоречий | Различные периоды ошибочно объявлены конфликтом |
| Резюме | Пропущена оговорка, меняющая смысл вывода |
Для каждой задачи нужен свой контрольный ответ. Красивое резюме не доказывает точность извлечения полей, а валидный JSON не подтверждает верность фактов внутри него.
Как собрать набор документов для проверки
Возьмите обычный пример, случай без нужного факта, текст с противоречием и документ с похожими числами. Добавьте случаи, на которых прежняя обработка ошибалась. Уберите сведения, которые нельзя передавать внешнему API.
Разметьте ответы до сравнения моделей. Для даты укажите само значение и цитату-основание; для классификации допустимую категорию; для резюме обязательные факты. Если два проверяющих расходятся в правильном ответе, сначала уточните условие задачи.
Не меняйте способ деления длинного документа между моделями. Если одна получает полный текст, а другая только начало, сравнение не покажет разницу моделей. Сохраните порядок частей и ссылки на исходные фрагменты.
Как проверить извлечение факта через API
Следующий пример использует Python с пакетом openai и ключом RELAY_API_KEY. Учебный текст намеренно не содержит дату поставки: правильный результат должен оставить delivery_date пустым.
import json
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["RELAY_API_KEY"],
base_url="https://relay-llm.ru/v1",
)
source = "Поставка перенесена. Новая дата пока не согласована."
rules = (
'Верни только JSON с полями delivery_date и evidence. '
'delivery_date: дата поставки строкой или null, если даты нет. '
'evidence: точная цитата из входа, на которой основан ответ. '
'Не считай дату письма датой поставки. Не добавляй пояснений.'
)
for model_id in ("gpt-6-sol", "claude-sonnet-5"):
reply = client.chat.completions.create(
model=model_id,
messages=[
{"role": "system", "content": rules},
{"role": "user", "content": source},
],
max_tokens=300,
)
raw = reply.choices[0].message.content or ""
try:
result = json.loads(raw)
if not isinstance(result, dict):
raise ValueError("Ожидался объект")
if set(result) != {"delivery_date", "evidence"}:
raise ValueError("Неверный набор полей")
quote = result["evidence"]
if not isinstance(quote, str) or not quote.strip() or quote not in source:
raise ValueError("Цитата отсутствует в исходнике")
if result["delivery_date"] is not None:
raise ValueError("Во входе нет даты поставки")
print(model_id, "прошёл этот пример", result)
except ValueError as error:
print(model_id, "не прошёл", str(error), raw)Код делает по одному платному вызову каждой модели. Он проверяет конкретный случай, а не общий уровень анализа. Для текста с датой понадобится другая ожидаемая величина. Формат запроса смотрите в документации Chat Completions.
Как отделить проверку схемы от проверки смысла
Парсер ловит незакрытую скобку и лишний текст перед JSON. Схема ловит отсутствующее поле или неверный тип. Сравнение цитаты с источником ловит выдуманный фрагмент. Но существующая цитата всё ещё может не подтверждать вывод: это проверяется по смыслу.
Например, цитата о прежнем сроке не подтверждает новую дату. В разметке храните связь между полем и основанием, а редактору показывайте фрагмент вместе с соседним предложением. Это поможет заметить отрицание или условие, которое модель пропустила.
Не просите модель оценить собственную уверенность вместо проверки. Число в ответе не сообщает, сколько ошибок было на вашем наборе. Отмечайте верные значения, пропуски и лишние утверждения отдельно.
Как сравнить качество и стоимость
Прогоните весь набор с одним шаблоном на обеих моделях. Для каждой запишите число принятых ответов и причины отказов. Обязательную ошибку, например выдуманную дату, не прячьте в средней оценке стиля.
Разделите фактический расход на число принятых результатов. Включите повторные вызовы; время ручной проверки учитывайте отдельной величиной. Если одна модель требует больше исправлений, низкая цена запроса сама по себе не делает её выгоднее. Ставки есть на странице цен, стоимость вызовов в журнале кабинета.
После выбора модели сохраните набор. При изменении промпта повторите его, добавив найденные в работе ошибки. Исправленный вручную ответ не должен заменять исходный результат модели: иначе следующая проверка потеряет свидетельство ошибки.
FAQ
Какие лучшие нейросети для анализа текста выбрать для документов?
Сравните кандидатов на своих типах документов и заранее размеченных ответах. Начать можно с GPT и Claude из каталога Relay, не назначая победителя до теста.
Достаточно ли проверить, что JSON разбирается?
Нет. Проверьте типы, фактические значения, полноту и цитаты. Синтаксически правильный объект может содержать выдуманную дату.
Как анализировать текст без нужного факта?
Задайте явное пустое значение, например null, и включите такой случай в тест. Уверенную догадку считайте ошибкой.