Pika-Labs/Pika-H3-Flex: новая модель в трендах Hugging Face

Что это

Pika H3 Flex — посттренированная модель H3 для генерации видео с синхронизированным звуком, ориентированная на профессиональную итеративную работу. Она генерирует видео за шесть шагов сэмплирования, принимает до 12 референсных входов и позволяет задавать операторские приёмы через референсы и промпт. Модель построена на MiniMax-H3 и выпущена в виде двух LoRA-адаптеров: FL2VA для текста и условий по первому/последнему кадру и Ref2VA для мультимодальных референсов.

Данные из карточки

• Нативное разрешение 480p или 768p во всех 11 поддерживаемых соотношениях сторон, 24 fps, длительность 5–15 секунд; звук 32 кГц stereo микшируется в MP4 с H.264/AAC вместе с JSON-метаданными.
• Ref2VA принимает до 9 изображений, 3 видео и 3 отдельных аудиоклипа, всего до 12 файлов; каждое видео и аудио должно длиться 2–15 секунд, суммарная длительность каждого типа — не более 15 секунд.
• Адаптеры — FP32 LoRA с rank/alpha 128; базовые компоненты MiniMax-H3 в формате Diffusers занимают около 210 ГБ, но выбранный workflow загружает только нужную часть transformer.
• Локальный инференс протестирован на H100 80GB для 480p и 768p; крупные запросы могут требовать --cpu-offload и большого объёма RAM. Хостинговый API Pika дополнительно даёт 1080p, 2K и 4K, отдельные аудиодорожки и улучшение промпта.
• Поддерживаются text-to-video, conditioning по первому, последнему или обоим кадрам и мультимодальные референсы; в комплекте есть веса для ComfyUI и примеры для Diffusers.