Switch-маршрутизация: один эксперт на токен
Switch Transformer упрощает MoE, отправляя каждый токен ровно к одному эксперту (k = 1).
Зачем это нужно
Классический MoE выбирает нескольких экспертов для каждого входа. Это дороже по коммуникации и вычислениям. Авторы хотели упростить маршрутизацию и сделать её эффективнее.
Как это работает
Авторы говорят, что упрощают алгоритм маршрутизации MoE и получают модели с меньшими затратами на коммуникацию и вычисления. Стратегия с одним экспертом на токен в статье называется Switch layer. Для каждого токена выбирается один эксперт, и остальные не вычисляются.
Пример
Если в слое 64 эксперта, то для каждого токена выбирается один из 64, а не несколько. Именно так устроена стратегия Switch layer. Точное число экспертов в этом посте не фиксируется: модели в статье имеют разные конфигурации.
Что запомнить
- Switch layer отправляет каждый токен к одному эксперту (k = 1).
- Упрощение снижает затраты на коммуникацию и вычисления.
- Авторы называют это простой и эффективной разреженностью.
Где читать дальше
- Fedus, Zoph, Shazeer, arXiv:2101.03961, раздел 1 и раздел 2