Теория 27 ОКТЯБРЯ 2026
Mixture of Experts: разные параметры для разных примеров
в MoE для каждого входа выбирается своя часть параметров, а не вся сеть целиком.
1 мин чтения · Теория
Зачем это нужно
В обычной модели все параметры участвуют в обработке каждого примера. Поэтому рост числа параметров сразу увеличивает вычисления. MoE разрывает эту связь.
Как это работает
По словам авторов, модели Mixture of Experts отходят от правила переиспользовать одни и те же параметры для всех входов: для каждого примера выбираются другие параметры. Разреженность здесь возникает из того, что для каждого входа активируется только часть весов сети.
Пример
Представьте сеть с несколькими экспертами-FFN. Для каждого токена работает только один или несколько экспертов, а остальные простаивают. Общее число параметров растёт, а вычисления на один пример остаются почти прежними.
Что запомнить
- MoE выбирает разные параметры для разных примеров.
- Разреженность означает, что активна только часть весов.
- Число параметров можно растить без пропорционального роста вычислений.
Где читать дальше
- Fedus, Zoph, Shazeer, Switch Transformers (arXiv:2101.03961), раздел 1 (Introduction)