nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B: новая модель в трендах Hugging Face

Что это

NVIDIA Nemotron 3.5 Transcribe — мультиязычная модель распознавания и перевода речи на архитектуре MoE (30B всего, A4B активных). Состоит из речевого энкодера с учётом говорящего, проекции в авторегрессивную MoE-языковую модель и совместного MTP. Поддерживает не только транскрипцию, но и перевод речи, атрибуцию спикеров, таймстемпы, определение языка, code-switching, rich transcription и ответы на вопросы по аудио.

Данные из карточки

• Базовая модель: nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16; обучение на наборе nvidia/Granary-v2; 40+ языков.
• Для транскрипции, перевода и определения языка предлагается greedy-декодирование (temperature 0), для аудио-понимания и инструкций — режим reasoning (temperature 0.6); оба режима используют контекст 65 536 токенов.
• При включённом в vLLM захвате таймстемпов в ответе возвращаются пословные таймстемпы, сегменты диаризации и сопоставление тегов спикеров.
• Два обученных уровня MTP дают вспомогательные цели обучения; повторно используемый слой применяется для спекулятивного декодирования.
• Рекомендуется постобработка cleanup_generation_loops для схлопывания зацикленных повторов в декодированном выводе.
• Лицензия OpenMDW-1.1; заявлена проверка по стандартам качества NVIDIA. Текстовые задачи без аудио проседают относительно базовой языковой модели.