Теория 27 ОКТЯБРЯ 2026
RLHF: три стадии от SFT до PPO
RLHF — это цепочка из трёх шагов: SFT, обучение reward model на предпочтениях людей и RL-оптимизация против этой модели.
1 мин чтения · Теория
Зачем это нужно
Языковая модель учится предсказывать следующий токен, а не отвечать полезно и безопасно. Авторы InstructGPT называют это несовпадением целей и хотят согласовать модель с намерениями пользователя.
Как это работает
Схема из статьи состоит из трёх шагов:
- Supervised fine-tuning: модель дообучается на демонстрациях, которые написали люди.
- Обучение reward model: люди ранжируют ответы модели, и на этих данных обучается модель награды.
- RL-оптимизация: основная модель обучается через PPO, чтобы получать высокую награду от reward model.
Пример
По данным статьи, выход модели InstructGPT 1.3B предпочитают выходу GPT-3 175B. У InstructGPT в 100 раз меньше параметров.
Что запомнить
- RLHF состоит из SFT, reward model и RL (в статье — PPO).
- Reward model учится на предпочтениях людей.
- Маленькая модель после RLHF может быть предпочтительнее большой без него.
Где читать дальше
- Ouyang et al., InstructGPT (arXiv:2203.02155), разделы 1 и 3 (рисунок 2)
- RLHF Book, Lambert, главная страница