MIXTURE OF EXPERTS · РОУТЕР И ЭКСПЕРТЫ
Вместо одного большого MLP в слое стоят несколько «экспертов». Маленькая сеть-роутер для каждого токена выбирает двух из них, остальные в этот момент не работают. Параметров много, а считается только часть.
02 · роутер, слой 2 softmax → top-2 → веса
токен …
Роутер — это одна матрица 32 × 4: она оценивает, какому эксперту отдать токен. Берутся два лучших, их оценки снова нормируются в веса, которые в сумме дают 100%.
03 · эксперты кому что достаётся
Слова под экспертами страница посчитала сама: прогнала модель по всему обучающему корпусу и записала, к кому роутер отправлял каждое слово. Группы получились не по темам, а по роли в предложении: служебные слова, подлежащие, глаголы. Нагрузка тоже неравная, это обычная проблема MoE.
04 · сколько считается на один токен
У больших MoE разрыв сильнее: у Mixtral 8×7B около 47 млрд параметров, а на токен работает примерно 13 млрд. Отсюда главный плюс подхода: знаний как у большой модели, скорость почти как у маленькой.
05 · следующий токен выбор по вероятности
Модель настоящая: я обучил её заранее (Python, JAX) на тех же 42 предложениях, что и трансформер на прошлой странице, с балансирующим loss как в Switch Transformer. Первый слой обычный, во втором 4 эксперта с роутером top-2. Все – весов лежат в странице, роутинг и генерация считаются в браузере (сверено с Python, расхождение меньше 10⁻⁵).
~/ai $ model.generate(prompt)
экспертов [4]
top-k [2]
активно [–]
шаг [0]