StreamEval: оценка моделей интерактивной потоковой генерации видео

Суть

С развитием потоковой генерации видео всё важнее становится возможность взаимодействия с генерируемым видео в реальном времени. В работе представлен StreamEval — единый бенчмарк для интерактивной потоковой генерации видео, охватывающий пять задач (диалог аватара, игра аватара, генерация мира, редактирование по инструкции, редактирование по референсу), 300 сценарных тестов длительностью 15–300 с и десять метрик по задачам в шкале 0–100 по четырём измерениям оценки.

Результаты

При оценке 37 моделей на 300 тестах лучшие оценки по задачам составляют 36.90 за Following среди семи моделей игры аватара, 25.93 за Following в генерации мира по тексту и 15.00 за Edit Success среди трёх моделей редактирования по референсу. Высокое визуальное качество и сохранение идентичности не обязательно совпадают с надёжным выполнением запросов или устойчивой согласованностью состояния.

Зачем это знать

Работа определяет надёжное выполнение запросов при ограничениях по времени и сохранению как центральную задачу для развития омнимодальных интерактивных систем реального времени.