ibm-granite/granite-speech-5.0-2b: новая модель в трендах Hugging Face

Что это

Granite Speech 5.0 2B — компактная речевая языковая модель IBM для многоязычного распознавания речи и двунаправленного перевода речи для английского, французского, немецкого, испанского, португальского и японского. Она обучена на 390 000 часов аудио из публичных корпусов и синтетических данных, включая японский ASR, ASR с подсказками ключевых слов и перевод речи. Модель получена выравниванием промежуточного чекпоинта granite-4.0-1b-base по модальностям.

Данные из карточки

• По сравнению с granite-speech-4.1-2b при том же числе параметров повышена точность короткого английского ASR и устойчивость к шуму, реверберации и записи с дальнего микрофона.
• Добавлены подсказки языка входа для многоязычного ASR, улучшен перевод длинной и разговорной речи, а список ключевых слов увеличен до 2 000 для ASR и AST.
• Архитектура: 16 conformer-блоков, обученных с CTC и двумя головами (символы и BPE), 2-слойный q-former с временным downsampling 10x до 10 Гц и LLM granite-4.0-1b-base с YaRN до 16k позиций.
• Пунктуация и капитализация улучшены на большинстве наборов: PER на LScln снижен с 25.70 до 23.20, на LSoth — с 22.27 до 21.22, Cap-F1 на LScln вырос с 89.71 до 90.16.
• Рекомендуется транскрибировать сегменты до примерно 2 минут; для llama.cpp советуют Q8_0, поскольку более низкие квантования теряют точность на аудио длиннее минуты.
• Модель поддерживается в transformers 4.52.1+, vLLM, llama.cpp, mlx-audio и через хостинговый Inference Endpoint с OpenAI-совместимым API.