Viens de découvrir quelque chose d'intéressant dans l'univers de la reconnaissance vocale. Sierra vient de mettre en open source μ-Bench, un benchmark multilingue pour l'ASR qui adresse un vrai problème : la plupart des benchmarks existants sont centrés sur l'anglais, ce qui limite sérieusement l'évaluation des systèmes en environnement client réel.

Ce qui est particulièrement pertinent avec μ-Bench, c'est qu'il propose une approche plus nuancée que les anciennes méthodes. Au lieu du traditionnel Word Error Rate (WER), ils ont introduit l'Utterance Error Rate (UER), qui distingue les erreurs qui changent réellement le sens du message de celles qui n'impactent pas la compréhension. C'est une évolution notable pour évaluer la qualité réelle.

L'ensemble de données inclut 250 enregistrements authentiques de service client et 4 270 extraits audio annotés couvrant cinq langues : anglais, espagnol, turc, vietnamien et mandarin. C'est déjà beaucoup plus représentatif que ce qu'on avait avant.

En termes de performance, Google Chirp-3 domine clairement en précision, tandis que Deepgram Nova-3 se distingue par sa vitesse mais reste en retrait sur la précision multilingue. C'est intéressant de voir comment les différents fournisseurs se positionnent selon les critères.

Le benchmark complet et les classements sont maintenant disponibles sur Hugging Face, ce qui ouvre la porte à plus de participation des fournisseurs. C'est le genre d'initiative open source qui pousse vraiment l'industrie à avancer, surtout quand il s'agit d'améliorer la reconnaissance vocale pour des cas d'usage réels en plusieurs langues.