Mistral ra mắt Voxtral TTS, một mô hình chuyển đổi văn bản thành giọng nói mở hoàn toàn

Headline

Mistral AI phát hành Voxtral TTS, một mô hình chuyển văn bản thành giọng nói mở

Summary

Mistral AI đã phát hành Voxtral TTS, một mô hình mở trọng số với 4 tỷ tham số có khả năng tạo ra giọng nói trong chín ngôn ngữ. Mô hình này xử lý các phương ngữ đa dạng, sản xuất đầu ra với cảm xúc phong phú và có thể thích ứng với các giọng nói mới chỉ bằng 2-3 giây âm thanh tham khảo mà không cần đào tạo thêm. Mistral đang định vị nó cho các đại lý giọng nói và ứng dụng thời gian thực. Đối với các công ty xây dựng sản phẩm giọng nói, điều này cung cấp một lựa chọn thay thế cho các API đóng từ ElevenLabs hoặc Google—họ có thể tự lưu trữ và chỉnh sửa mô hình trực tiếp.

Analysis

Voxtral TTS sử dụng kiến trúc transformer với sự khớp dòng cho âm thanh và một codec âm thanh thần kinh. Trong các đánh giá của con người từ Mistral, nó đã vượt qua ElevenLabs Flash v2.5 về khả năng sao chép giọng nói đa ngôn ngữ và đạt chất lượng tương đương ElevenLabs v3 trong khi chạy nhanh hơn và rẻ hơn.

Điều này phù hợp với mô hình của Mistral trong việc phát hành các mô hình mở trọng số hiệu quả cạnh tranh với các lựa chọn đóng. Đối với các doanh nghiệp, sức hấp dẫn là rõ ràng: sở hữu ngăn xếp giọng nói của bạn, tích hợp nó theo cách bạn muốn, tránh chi phí API và phụ thuộc vào nhà cung cấp.

Mô hình đủ nhỏ gọn để chạy trên laptop hoặc điện thoại, điều này mở ra khả năng triển khai ở rìa cho các ứng dụng nhạy cảm về quyền riêng tư. Khả năng xuyên ngôn ngữ không có mẫu của nó—giữ giọng của người nói khi chuyển đổi ngôn ngữ—giải quyết một vấn đề thực sự cho các công ty hoạt động quốc tế.

Mistral đã xây dựng khả năng phát biểu gần đây, với các mô hình hiểu ngôn ngữ mở trước khi phát hành này. Voxtral TTS bổ sung vào phía đầu ra của phương trình đó.

Impact Assessment

• Significance: Cao
• Categories: Phát hành mô hình, Mã nguồn mở, Tác động thị trường