openai/whisper-large-v3: новая модель в трендах Hugging Face

Что это

Whisper large-v3 — модель автоматического распознавания речи (ASR) и перевода речи от OpenAI, Transformer encoder-decoder. Архитектурно совпадает с large и large-v2, но использует 128 Mel-бинов вместо 80 и новый языковой токен для кантонского. Обучена на более 5 млн часов размеченных данных и хорошо обобщается в zero-shot.

Данные из карточки

• 1550M параметров; обучена на 1 млн часов слабо размеченного аудио и 4 млн часов псевдоразмеченного (собранного large-v2), 2.0 эпохи.
• Снижение ошибок на 10–20 % относительно Whisper large-v2 на широком наборе языков.
• Мультиязычная, поддерживается в Hugging Face Transformers; доступны Flash Attention 2, SDPA и torch.compile (ускорение до 4.5x).
• Рецептивное поле 30 секунд; для длинного аудио — последовательный (sliding window) и chunked алгоритмы.
• Предупреждение: из-за слабого обучения возможны галлюцинации (текст, которого нет в аудио), неравномерная точность по языкам и акцентам.