Может ли RAG оказаться дешевле обычного чата?

Это зависит от модели, длины контекста, частоты запросов и размещения. На пилоте можно сравнить стоимость и качество ответов на одном наборе контрольных вопросов.

Можно ли заранее оценить стоимость одного ответа?

Пилот позволяет измерить стоимость ответа и сопоставить её с качеством на контрольных вопросах при заданной нагрузке и выбранной модели.

Janus.Guru

Как оценить стоимость ассистента на своём корпусе

RAG передаёт модели найденные фрагменты вместо всего набора документов, что может уменьшить объём контекста. Итоговая стоимость зависит от модели, частоты запросов и размещения. Сравните стоимость и качество на одних контрольных вопросах.

Запустить пилот Открыть демо

Что влияет на стоимость

объём и качество корпуса
частота запросов
длина контекста
требования к скорости
выбор облачной или локальной модели

Что сравнить в пилоте

сначала ищет подходящие фрагменты
передаёт модели запрос и найденные фрагменты
позволяет тестировать несколько моделей
показывает слабые места корпуса до расширения

Что даёт пилот

оценку нагрузки
контрольные вопросы
стоимость одного ответа
решение: облако, локальная модель или гибрид

Частые вопросы

Может ли RAG оказаться дешевле обычного чата?
Это зависит от модели, длины контекста, частоты запросов и размещения. На пилоте можно сравнить стоимость и качество ответов на одном наборе контрольных вопросов.
Можно ли заранее оценить стоимость одного ответа?
Пилот позволяет измерить стоимость ответа и сопоставить её с качеством на контрольных вопросах при заданной нагрузке и выбранной модели.