Теория 27 ОКТЯБРЯ 2026
Вход трансформера: матрица X из слов и позиций
вход трансформера — это матрица размера N×d, где каждая строка — эмбеддинг токена плюс эмбеддинг его позиции.
1 мин чтения · Теория
Зачем это нужно
Всю работу слоя можно считать одной матричной операцией, если все токены упакованы в одну матрицу. Это ускоряет обучение.
Как это работает
Сначала текст разбивается на токены, например через BPE или SentencePiece, и каждый токен превращается в индекс словаря. Из матрицы эмбеддингов E берутся строки для этих индексов. Это то же самое, что умножить one-hot вектор на E. Затем к каждой строке прибавляется позиционный эмбеддинг. Итог — матрица X размера N×d.
Пример
Фраза «thanks for all the» превращается в индексы [5, 4000, 10532, 2224]. Модель берёт строки 5, 4000, 10532 и 2224 из E и складывает каждую с позиционным вектором своего места.
Что запомнить
- Вход — матрица X размера N×d.
- X = эмбеддинг токена + эмбеддинг позиции.
- Все N токенов считаются параллельно через матричные умножения.
Где читать дальше
- SLP3, гл. 7 «Transformers and Pretraining», разделы 7.3 и 7.4