Теория 27 ОКТЯБРЯ 2026
Стек блоков и голова языковой модели
блоки складываются в стопку, а сверху языковая голова превращает последний вектор в распределение по словам.
1 мин чтения · Теория
Зачем это нужно
Один блок мало что умеет. Глубина даёт модели больше уровней абстракции, и поэтому все блоки имеют одинаковую форму.
Как это работает
Блоки стекаются от 12 слоёв (GPT-3 small, T5) до 96 (GPT-3 175B) и больше. После последнего блока идёт ещё один layer norm. Затем вектор умножается на U = E^T (разметка весов с матрицей эмбеддингов), получаются логиты, и softmax даёт вероятности слов.
Источник также отмечает, что для вычисления параметров блока упражнение просит показать примерно 12·L·d² параметров без смещений и layer norm.
Пример
Из таблицы в источнике:
- GPT-2 XL (2019): L = 48, d = 1600, 1.5B параметров.
- GPT-3 (2020): L = 96, d = 12288, 175B параметров.
- Llama 3.1 8B (2024): L = 32, d = 4096, 8B параметров.
Что запомнить
- Блоки одинаковой формы стекаются в глубокую модель.
- Голова языковой модели: линейный слой U и softmax.
- Число параметров растёт примерно как L·d².
Где читать дальше
- SLP3, гл. 7 «Transformers and Pretraining», разделы 7.5 и 7.8