Масштаб без роста FLOPs: четвёртая ось
Switch Transformer увеличивает число параметров, не увеличивая FLOPs на один пример, и это авторы называют отдельной осью масштабирования.
Зачем это нужно
Предыдущие работы масштабировали модели по трём осям: параметры, данные, вычисления. Авторы предлагают четвёртую: число параметров при фиксированных FLOPs на пример.
Как это работает
Авторы ссылаются на scaling laws Kaplan 2020 и отмечают, что обучение больших моделей на относительно небольших данных считается оптимальным. Их гипотеза: число параметров, независимое от общего объёма вычислений, важно как отдельная ось. Чтобы её проверить, они обучают модели с разным числом экспертов и сравнивают с плотными моделями при том же бюджете.
Результаты: модели доходят до триллиона параметров, а предобучение ускоряется в 4 раза по сравнению с сильно настроенной T5-XXL.
Пример
Модель switch-c-2048 имеет 2048 экспертов и около 1.6 триллиона параметров, по данным карточки модели на Hugging Face. Это показывает, что параметры растут сильно, а вычисления на один пример нет.
Что запомнить
- Число параметров можно масштабировать отдельно от FLOPs на пример.
- Switch Transformer обучили до триллиона параметров.
- Ускорение предобучения: в 4 раза относительно T5-XXL.
Где читать дальше
- Fedus, Zoph, Shazeer, arXiv:2101.03961, разделы 1 и 3