Alibaba обновила модель реального времени Fun-ASR-Realtime: задержка первого слова составляет сто миллисекунд, точность распознавания вэньчжоуского диалекта превышает 82%

7 июля, лаборатория Alibaba Tongyi снизила задержку первого символа своей потоковой модели распознавания речи Fun-ASR-Realtime до уровня миллисекунд, обеспечив появление текста сразу после окончания речи, при этом точность приближается к офлайн-модели.

Во время недавнего 100-часового стрима с острова, организованного «Киношным ураганом», модель в сложных условиях (проливной дождь на открытом воздухе, частая смена говорящих) предоставляла субтитры в реальном времени, распознав в общей сложности более 60 000 фрагментов (1,32 миллиона символов).

Для решения проблемы фрагментарности при распознавании речи в реальном времени новая модель усилила способность понимания контекста, динамически корректируя ошибки на основе истории диалога и актуальных горячих слов (например, автоматически исправляя «叶鹿» на «夜鹭» в зависимости от последующего текста). Модель в настоящее время поддерживает 30 языков и 16 диалектов. Средняя точность на уровне символов для диалектов составляет 88,62%, при этом для шанхайского диалекта — 92,41%, а для самого сложного вэньчжоуского диалекта — 82,74%.

Офлайн-версия модели Fun-ASR-Flash заняла первое место в рейтинге ошибок символов (WER) на глобальной платформе оценки ИИ Artificial Analysis. API-интерфейсы обеих моделей уже доступны на Alibaba Cloud Bailian, а базовые инструменты с открытым исходным кодом и модели можно получить на ModelScope и GitHub.