Instruction tuning: учим модель отвечать на инструкции
instruction tuning — это дообучение предобученной модели на парах «инструкция — ответ», чтобы она отвечала на вопросы, а не продолжала текст.
Зачем это нужно
Предобученная модель продолжает текст. Если спросить «What is the capital of Italy?», она может добавить ещё вопросов, а не ответить. Instruction tuning переводит модель в режим ответа на инструкцию.
Как это работает
Это форма supervised learning: данные состоят из инструкций и правильных ответов. Источник отмечает, что модель по-прежнему предсказывает следующий токен, поэтому метод назвали supervised fine-tuning (SFT). Практически используется тот же авторегрессионный лосс, что и при предобучении. Отличие в данных и в маске, о которой речь в следующем посте.
Источник также указывает, что instruction tuning даёт модели мета-обучение: она учится следовать инструкциям в целом, а не только конкретным задачам.
Пример
Для инструкции «Explain X in one sentence» модель после SFT даёт однофразовое объяснение, а не продолжает инструкцию другими инструкциями.
Что запомнить
- Instruction tuning учит модель отвечать в формате «инструкция — ответ».
- Практически это тот же next-token лосс, что и при предобучении.
- SFT служит основой для последующих стадий: сбора предпочтений и RLHF.