Теория 27 ОКТЯБРЯ 2026
Почему низкий ранг работает
авторы предположили, что обновления весов при адаптации имеют низкий «внутренний ранг», и поэтому маленькой добавки хватает.
1 мин чтения · Теория
Зачем это нужно
LoRA работает только в том случае, если обновление весов при адаптации на самом деле не требует полного ранга. Авторы проверяют эту гипотезу.
Как это работает
Авторы опираются на работы, которые показывают, что переобученные модели лежат на низкой внутренней размерности. Их гипотеза: обновления матриц при адаптации к языковой задаче тоже имеют низкий внутренний ранг. Поэтому обновление можно выразить через два маленьких сомножителя. Ранг r обычно мал по сравнению с размерностью d.
Пример
Для GPT-3 175B авторы показывают, что ранг r = 1 или 2 достаточно, хотя полный ранг d достигает 12288. Так обновление весов занимает малую долю параметров.
Что запомнить
- Гипотеза: обновления при адаптации имеют низкий внутренний ранг.
- Для GPT-3 достаточно r = 1 или 2 при d = 12288.
- Низкий ранг делает LoRA одновременно экономным по памяти и вычислениям.
Где читать дальше
- Hu et al., arXiv:2106.09685, раздел 1 и раздел 4 (rank-deficiency)