Alibaba Tongyi Fun-ASR modèle vocal grande mise à niveau : délai du premier mot seulement cent millisecondes, reconnaissance du dialecte de Wenzhou supérieure à 82%.

Le laboratoire Alibaba Tongyi a réduit le délai de la première syllabe de son modèle de reconnaissance vocale en continu Fun-ASR-Realtime au niveau de la centaine de millisecondes, permettant une transcription quasi-instantanée dès la fin de la parole, avec une précision proche de celle des modèles hors ligne. Le nouveau modèle prend en charge 30 langues et 16 dialectes, et atteint une précision de 82,74 % pour le dialecte de Wenzhou.
(Contexte précédent : xAI ouvre officiellement l'API vocale Grok, TTS à 4,2 $ par million de caractères, taux de reconnaissance battant ElevenLabs)
(Complément : OpenRouter analyse 100 billions de jetons : à quoi sert vraiment l'IA pour l'humain, l'essor des modèles chinois et le secret de la fidélisation des utilisateurs)

Table des matières

Toggle

• Validation pratique : diffusion en direct de 100 heures sur une île déserte
• Performances de reconnaissance des dialectes
• La version hors ligne domine également

Le 6 juillet, le laboratoire Alibaba Tongyi a annoncé avoir réduit le délai de la première syllabe de son modèle de reconnaissance vocale en continu Fun-ASR-Realtime au niveau de la centaine de millisecondes, réalisant l'effet « la transcription sort dès que la parole se termine », avec une précision désormais proche de celle des modèles hors ligne.

Le cœur de cette mise à niveau réside dans le renforcement de la capacité de perception contextuelle. Le nouveau modèle peut combiner l'historique des dialogues et les mots-clés en temps réel pour effectuer des corrections dynamiques. Par exemple, il peut automatiquement corriger « yè lù » en « yè lù » (héron nocturne) en fonction du contexte suivant, résolvant efficacement le problème de la prise de sens partiel fréquent dans la reconnaissance vocale en temps réel.

Validation pratique : diffusion en direct de 100 heures sur une île déserte

Lors de la récente diffusion en direct de 100 heures sur une île déserte par YingShiJuFeng, Fun-ASR-Realtime a fourni un support de sous-titrage en temps réel tout au long de l'événement, même dans des conditions difficiles de pluie battante en extérieur et de changement fréquent d'intervenants. Au total, plus de 60 000 segments et 1,32 million de caractères ont été reconnus.

Ces données signifient que le modèle peut maintenir une qualité de reconnaissance stable dans des scénarios réels de mono, bruit ambiant élevé et interlocuteurs multiples enchevêtrés – c'est l'indicateur clé pour les applications de sous-titrage en temps réel.

Performances de reconnaissance des dialectes

Le modèle prend actuellement en charge 30 langues et 16 dialectes, avec un taux de précision moyen sur les caractères dans les tests dialectaux atteignant 88,62 %. Voici les performances pour les principaux dialectes :

• Shanghai : 92,41 %
• Wenzhou : 82,74 % (considéré comme le dialecte le plus difficile)
• Moyenne (16 dialectes) : 88,62 %

Le dialecte de Wenzhou, en tant que projet à haute difficulté parmi les dialectes Wu, atteint une précision de 82,74 %, montrant une amélioration significative de la capacité de généralisation du modèle sur les dialectes à faibles ressources.

La version hors ligne domine également

Le modèle hors ligne Fun-ASR-Flash a quant à lui décroché la première place au classement du taux d'erreur sur les caractères de la plateforme mondiale d'évaluation IA Artificial Analysis, confirmant davantage la position de leader technique de la série Fun-ASR dans le domaine de la reconnaissance vocale.

Les API des deux modèles sont désormais disponibles sur Alibaba Cloud Bailian, et les kits d'outils open source sous-jacents ainsi que les modèles peuvent être obtenus sur ModelScope et GitHub.