Scaling laws: loss растёт предсказуемо
качество языковой модели (cross-entropy loss) подчиняется степенному закону от размера модели, объёма данных и вычислений.
Зачем это нужно
Обучение больших моделей стоит очень дорого. Без закономерностей каждая команда решает, сколько параметров и данных взять, почти наугад.
Как это работает
Kaplan и соавторы измерили loss для языковых моделей и нашли степенные зависимости от трёх факторов: числа параметров, объёма данных и объёма вычислений. Степенной закон выглядит прямой линией в логарифмических осях. Эти зависимости держатся на диапазоне больше семи порядков величины. Ширина и глубина сети при разумных пределах влияют слабо.
Пример
Из статьи: при обучении на достаточно большом наборе данных loss зависит от числа параметров по степенному закону. Если удвоить параметры, loss падает на предсказуемую величину. Точные показатели степени в этом посте не приводятся, их нужно брать из статьи.
Что запомнить
- Loss следует степенному закону от параметров, данных и вычислений.
- Закономерность держится на диапазоне более семи порядков.
- Ширина и глубина сети влияют слабо.