К содержимому

Тег

RAG и контекст

3 статьи

Все статьи

RAG и длинный контекст решают одну задачу по-разному. Первый ищет нужные фрагменты и подаёт только их. Второй отправляет документы целиком. Что выбрать, зависит от объёма данных, частоты обновления и бюджета. В материалах тега есть матрица решений, а ещё разбор чанкинга, поиска, цитирования и оценки поиска отдельно от генерации.

Одно ограничение известно заранее: у Relay нет /v1/embeddings, поэтому модель для эмбеддингов придётся взять отдельно. Короткий документ проще целиком положить в запрос, чем строить индекс. Если контекст длинный, выручает кэш промпта, его ставки описаны на странице про кэширование.

Чат-бот поддержки на LLM: от базы знаний до оператора

Как собрать чат-бота поддержки на LLM: ограничить ответы базой знаний, проверить действия на backend, измерять качество и вовремя передавать диалог оператору.

RAG на LLM API: как собрать поиск, цитаты и проверку ответа

Пошаговая схема RAG: подготовка документов, поиск, ранжирование, контекст, цитаты и раздельная оценка retrieval и генерации.

Длинный контекст или RAG: как выбрать подход для данных

Выбираем между длинным контекстом и RAG по размеру корпуса, обновляемости, цене ошибки и повторяемости запросов. Даём план короткого эксперимента.