OmniCompass: целостный бенчмарк для омнимодальной видео-локализации и понимания

Суть

С бурным развитием мультимодальных больших языковых моделей (MLLM) оценка их способностей к пониманию видео становится всё важнее. Существующие бенчмарки понимания видео покрывают лишь часть измерений оценки, что ограничивает системную диагностику омнимодального понимания видео. В работе представлен OmniCompass — целостный бенчмарк для омнимодальной видео-локализации и понимания с двумя направлениями оценки: OmniCompass-VL для моделей «видение-язык» и OmniCompass-AV для омнимодальных моделей на задачах совместного аудиовизуального свидетельства.

Результаты

OmniCompass-VL содержит 820 видео и 2460 примеров по трём типам длительности (короткие, средние, длинные); аудио-насыщенное подмножество OmniCompass-AV — 240 видео и 720 примеров. Каждый пример оценивается в двух парных настройках: только текст и текст+изображение. Оценка 50 MLLM показывает, что открытые модели всё ещё отстают от проприетарных, особенно в аудиовизуальном понимании; точная временная и пространственная локализация остаётся сложной даже для ведущих моделей, а их предсказания несогласованы между парными спецификациями цели.

Зачем это знать

OmniCompass даёт целостную диагностику омнимодального понимания видео и вскрывает отставание открытых моделей в аудиовизуальном понимании и локализации.