Alibaba atualiza o modelo de grande escala de fala em tempo real Fun-ASR-Realtime: latência da primeira palavra de cem milissegundos, taxa de precisão de reconhecimento do dialeto de Wenzhou superior a 82%.

Segundo o monitoramento do Beating, o laboratório Alibaba Tongyi reduziu a latência da primeira palavra do modelo de reconhecimento de fala em tempo real Fun-ASR-Realtime para o nível de milissegundos, permitindo que as palavras apareçam assim que são ditas, com precisão próxima à dos modelos offline. Durante a transmissão ao vivo de 100 horas em uma ilha deserta recentemente encerrada pela Hurricane Film, o modelo forneceu suporte de legendas em tempo real em condições adversas, como chuva torrencial ao ar livre e múltiplas trocas rápidas de falantes, acumulando mais de 60 mil falas e um total de 1,32 milhão de caracteres.

Para resolver o problema de interpretação fora de contexto comum no reconhecimento de fala em tempo real, o novo modelo fortaleceu a capacidade de percepção contextual, combinando diálogos históricos e palavras-chave dinâmicas em tempo real para correção automática (por exemplo, corrigindo "Ye Lu" para "Night Heron" com base no contexto posterior). O modelo atualmente suporta 30 idiomas e 16 dialetos, alcançando uma precisão média de caracteres de 88,62% nos testes de dialetos, sendo 92,41% para o dialeto de Xangai e 82,74% para o dialeto de Wenzhou, considerado o mais difícil. O modelo offline Fun-ASR-Flash conquistou o primeiro lugar no ranking de taxa de erro de caracteres da plataforma global de avaliação de IA Artificial Analysis.

Atualmente, esses dois novos modelos estão disponíveis apenas como serviços de API comerciais no Alibaba Cloud Bailian, enquanto o framework de código aberto FunASR subjacente e os modelos ecológicos podem ser obtidos no ModelScope e no GitHub.