Encoder и BERT: видеть весь текст сразу
bidirectional encoder — это трансформер без маски, который видит слова и слева, и справа от токена.
Зачем это нужно
Для классификации и разметки токенов полезно знать будущие слова. Например, чтобы определить тип именованной сущности, нужен весь контекст. Причинная маска здесь мешает.
Как это работает
В encoder-модели attention вычисляется по всем парам токенов, маска не применяется. Остальная часть блока, включая feedforward и layer norm, та же, что в decoder. Самая известная модель этого типа — BERT, обученная через маскированное языковое моделирование: часть токенов скрывают, и модель предсказывает их по контексту.
Источник отмечает, что такие модели обычно не используют для генерации текста. Их применяют для задач интерпретации.
Пример
В слайдах по BERT: L = 24 слоя, A = 16 голов внимания, около 550M параметров, мультиязычный словарь на 250 000 токенов, построенный через SentencePiece Unigram.
Что запомнить
- Encoder-модель не использует маску и видит весь контекст.
- BERT обучают маскированным языковым моделированием.
- Для генерации текста такие модели обычно не применяют.