Chinchilla: параметры и данные растут вместе
Hoffmann и соавторы показали, что для оптимального обучения число параметров и число токенов нужно масштабировать одинаково.
Зачем это нужно
Многие большие модели того времени, по словам авторов, были недообучены: их размер рос, а объём данных оставался прежним. Это расходовало вычисления неэффективно.
Как это работает
Авторы обучили более 400 моделей от 70 миллионов до более 16 миллиардов параметров на 5–500 миллиардах токенов. Вывод: при оптимальном обучении при удвоении размера модели число токенов тоже нужно удвоить. Чтобы проверить гипотезу, они обучили Chinchilla на том же бюджете, что Gopher, но с 70 миллиардами параметров и в 4 раза большим объёмом данных.
Пример
Chinchilla (70B) превзошла Gopher (280B), GPT-3 (175B), Jurassic-1 (178B) и Megatron-Turing NLG (530B) на широком наборе задач. На MMLU она достигла 67.5%, что более чем на 7% выше Gopher.
Что запомнить
- Для оптимального обучения параметры и токены растут пропорционально.
- Меньшая модель на большем объёме данных может превзойти большую.
- Такое же вычислительное бюджетирование помогает и при инференсе, потому что модель меньше.
Где читать дальше
- Hoffmann et al., Training Compute-Optimal Large Language Models (arXiv:2203.15556), раздел abstract и раздел 4.2