Reward model: учимся на ранжировании ответов
reward model учится оценивать ответы по тому, как люди их ранжируют, и затем задаёт сигнал для RL.
Зачем это нужно
Человек не может оценить каждый ответ в абсолютных числах одинаково. Но сравнить два или несколько ответов ему проще. Поэтому авторы собирают ранжирование ответов модели.
Как это работает
В статье собирается датасет ранжирований: для одного промпта модель генерирует несколько ответов, и люди расставляют их по качеству. На этих сравнениях обучается reward model, которая по ответу выдаёт число. Затем это число служит наградой для PPO. Авторы также использовали оценки по шкале от 1 до 7 и отмечали конкретные проблемы: невыполнение инструкции, галлюцинации, неподходящий контент.
В RLHF Book Lambert описывает reward models отдельно в главе 5, и её переработали в версии 2026 года. Формула лосса по Брэдли–Терри есть в книге, но в этом посте я её не разбирал.
Пример
Для одного промпта модель даёт три ответа A, B и C. Разметчик ставит порядок B > A > C. Reward model должна выдать B наибольший балл, а C наименьший.
Что запомнить
- Reward model обучается на ранжированиях, а не на абсолютных оценках.
- Её выход становится наградой для RL.
- Разметка включает не только сравнение, но и типы проблем ответа.
Где читать дальше
- Ouyang et al., InstructGPT (arXiv:2203.02155), раздел 3
- RLHF Book, Lambert, глава 5 (reward models)