Предобучение: модель учится на самом тексте
предобучение — это обучение модели предсказывать следующий токен на большом корпусе текста, где правильный ответ уже есть в самом тексте.
Зачем это нужно
Размеченные данные дороги. Текст сам по себе содержит ответы: каждое следующее слово служит учителем для предыдущих.
Как это работает
Большой корпус текста токенизируется, часто с добавлением качественных данных к веб-выгрузкам. В каждой позиции t модель предсказывает следующий токен и обновляет веса через обратное распространение ошибки и градиентный спуск. Всё, что обучается: матрица эмбеддингов, feedforward, attention и остальные веса.
Источник называет это самообучением (self-supervised): никакой дополнительной разметки не нужно, последовательность слов сама служит разметкой.
Пример
В предложении «So long and thanks for all» на каждом шаге модель получает правильную историю и предсказывает следующее слово: «long» после «So», «and» после «So long», и так далее.
Что запомнить
- Предобучение ведётся на тексте без ручной разметки.
- Цель обучения: предсказать следующий токен.
- Все веса модели, включая эмбеддинги, обучаются этой задачей.
Где читать дальше
- SLP3, гл. 7 «Transformers and Pretraining», раздел 7.7