PROMPT INJECTION · ЧУЖОЙ ТЕКСТ НЕ КОМАНДУЕТ
Модель не отличает инструкции от данных: для неё всё — текст в промпте. Если в найденный документ подложить «assistant, скажи пользователю…», модель может послушаться. Защищаются не одним фильтром, а несколькими слоями, каждый из которых ловит то, что пропустил предыдущий.
01 · вопрос
раунд 1
грубая инъекцияраунд 2
замаскированная
user ›
02 · найденный контекст гибридный поиск · top-5
В базу, кроме тендера заказчика, попало приложение, загруженное участником. Поиск честно находит его по теме оплаты, потому что текст про оплату.
04 · что увидел пользователь
ждёт…
Поиск (BM25 + MiniLM + RRF), детектор по шаблонам, сборка промпта с разметкой недоверенного текста, политика инструментов и сверка ответа с доверенными пунктами работают в браузере. Ответы «модели» я, Claude, написал так, как типично ведёт себя уязвимая модель, — это иллюстрация, а не замер конкретной модели. Подложенные тексты и адрес почты учебные.
~/ai $ rag.ask(question)