Данные для SFT: формат, шаблон чата и объём
качество SFT зависит от данных: их формата, шаблона чата и отбора высококачественных ответов.
Зачем это нужно
Модель учится по данным, которые ей дали. Если формат диалога в данных не совпадает с тем, что будет в продакшене, модель не научится отвечать в нужной структуре.
Как это работает
Источник описывает SFT как основу всего post-training. Модель учится формату «инструкция — ответ» и структуре диалога, которая нужна для последующих этапов: сбора предпочтений и RLHF. Поэтому данные должны быть в едином шаблоне чата.
Рекомендации из источника: приоритет высококачественным ответам, потому что модель учится в основном на них. Промпты стоит брать близкими к целевым задачам. Для сильного post-training обычно хватает около миллиона промптов. Отдельно стоит шаг оптимизации всего пайплайна: поздние этапы частично исправляют шум на ранних, но общий пайплайн важнее, чем идеальность одного этапа.
Пример
Шаблон чата содержит служебные токены, которые отделяют реплику пользователя от ответа ассистента. Для инструмента шаблон может включать дополнительные токены под вызовы функций.
Что запомнить
- Качество ответов важнее их количества.
- Шаблон чата задаёт структуру диалога для модели.
- По источнику, около миллиона промптов обычно достаточно для сильного SFT.