RAG · ОТВЕТ ПО ДОКУМЕНТУ
Retrieval-Augmented Generation: сначала найти нужные куски документа, потом дать их модели вместе с вопросом и попросить отвечать только по ним, со ссылками. Так модель знает то, чего не было в её обучении, и это можно проверить.
вопрос
rewrite
поиск
промпт
ответ
02 · найденный контекст гибрид · top-5
03 · промпт для LLM собирается из найденного
04 · ответ и проверка каждое утверждение
С RAG · ответ по контексту
БЕЗ RAG · та же модель, без документа
05 · сколько утверждений подтверждено документом
Проверка простая и строгая: цитата из утверждения должна дословно стоять в чанке, на который сослалась модель, а этот чанк должен быть в найденном контексте. Для «в документе этого нет» проверяется, что нужных слов действительно нет нигде в документе.
Ответы LLM написал я, Claude, заранее, как это сделала бы модель в пайплайне. Ответы «без RAG» — типичные уверенные догадки модели, которая не видела документ, написанные для сравнения. Поиск (BM25 + эмбеддинги all-MiniLM-L6-v2 + RRF), номера ссылок в ответе и все проверки утверждений выполняются в браузере. Если поиск не найдёт чанк, на который ссылается ответ, страница покажет это как ошибку.
~/ai $ rag.ask(question)