Что дал RLHF: правдивость, токсичность и обобщение
по данным статьи, RLHF улучшил правдивость и снизил токсичность ответов, при этом модели хорошо обобщались на разметчиков, которые не участвовали в обучении.
Зачем это нужно
Чтобы RLHF был полезен, нужны не только высокие оценки на обучающих промптах. Важно, как модель ведёт себя на новых промптах, у других людей и в других метриках.
Как это работает
Авторы оценивают модели через разметчиков: на тестовом наборе промптов от клиентов API им показывают ответы и просят сравнить. Проверяют правдивость, токсичность и соответствие инструкции. Отдельно тестируют held-out разметчиков, которые не давали обучающих данных. Они отдают предпочтение ответам InstructGPT примерно с той же частотой, что и обучающие разметчики.
Пример
По статье, InstructGPT генерирует примерно на 25% меньше токсичных ответов, чем GPT-3, если его просят быть уважительным. На наборах Winogender и CrowS-Pairs заметного улучшения нет.
Что запомнить
- RLHF улучшил правдивость по сравнению с GPT-3.
- Токсичность ниже примерно на 25% в тестах на уважительность.
- Модели хорошо обобщаются на held-out разметчиков.
Где читать дальше
- Ouyang et al., InstructGPT (arXiv:2203.02155), раздел 4 (результаты)