RAG и длинный контекст решают одну задачу по-разному. Первый ищет нужные фрагменты и подаёт только их. Второй отправляет документы целиком. Что выбрать, зависит от объёма данных, частоты обновления и бюджета. В материалах тега есть матрица решений, а ещё разбор чанкинга, поиска, цитирования и оценки поиска отдельно от генерации.
Одно ограничение известно заранее: у Relay нет /v1/embeddings, поэтому модель для эмбеддингов придётся взять отдельно. Короткий документ проще целиком положить в запрос, чем строить индекс. Если контекст длинный, выручает кэш промпта, его ставки описаны на странице про кэширование.