Сильная модель стоит в десятки раз дороже слабой, а половина вопросов простые. Роутер перед моделями решает, куда отправить запрос: простой — в дешёвую, сложный — в дорогую. Цель — качество почти как у дорогой, цена ближе к дешёвой.
01 · роутер
user ›
← похож на простыепорог 0похож на сложные →
02 · модели цена · 1 : 20
дешёвая1 у.е./1k ток.
отвечает по одному лучшему пункту: справится, если вопрос про один факт
дорогая20 у.е./1k ток.
полный RAG: 5 пунктов и рассуждение; справится, если все нужные пункты найдены
03 · три стратегии на одном потоке по ходу
04 · цена ↔ качество роутер при разных порогах
Каждая точка — роутер с другим порогом. Левее — дешевле, выше — больше верных ответов. Здесь честно показан порог 0, взятый из обучения без подгонки под эти вопросы. В продакшене порог подбирают на отдельной выборке под нужный баланс.
Роутер настоящий: он сравнивает эмбеддинг вопроса (all-MiniLM-L6-v2) со средними эмбеддингами 8 обучающих примеров, простых и сложных. Тестовые вопросы он не видел. Обе «модели» здесь — проверяемые замены: дешёвая верна, если вопрос требует одного пункта и поиск поставил его первым; дорогая верна, если все нужные пункты попали в топ-5 гибридного поиска. Нужные пункты для каждого вопроса я разметил заранее. Токены оцениваются по длине промпта и ответа, цены условные.