Acabo de descubrir algo interesante en el universo del reconocimiento de voz. Sierra acaba de poner en código abierto μ-Bench, un benchmark multilingüe para el reconocimiento automático de voz que aborda un problema real: la mayoría de los benchmarks existentes están centrados en el inglés, lo que limita seriamente la evaluación de los sistemas en entornos reales de clientes.

Lo que es particularmente relevante con μ-Bench es que propone un enfoque más matizado que los métodos antiguos. En lugar del tradicional Tasa de Error de Palabras (WER), han introducido la Tasa de Error en Enunciados (UER), que distingue los errores que realmente cambian el significado del mensaje de aquellos que no afectan la comprensión. Es una evolución notable para evaluar la calidad real.

El conjunto de datos incluye 250 grabaciones auténticas de atención al cliente y 4,270 extractos de audio anotados que cubren cinco idiomas: inglés, español, turco, vietnamita y mandarín. Esto ya es mucho más representativo que lo que teníamos antes.

En términos de rendimiento, Google Chirp-3 domina claramente en precisión, mientras que Deepgram Nova-3 se destaca por su velocidad pero se queda atrás en precisión multilingüe. Es interesante ver cómo los diferentes proveedores se posicionan según los criterios.

El benchmark completo y las clasificaciones ya están disponibles en Hugging Face, lo que abre la puerta a una mayor participación de los proveedores. Es este tipo de iniciativa de código abierto la que realmente impulsa a la industria a avanzar, especialmente cuando se trata de mejorar el reconocimiento de voz para casos de uso reales en varios idiomas.