#STT# Đánh giá ngắn gọn về mô hình giọng nói mới được phát hành bởi OpenAI

OpenAI đã phát hành hai mô hình STT (chuyển giọng nói thành văn bản) mới và một mô hình TTS (chuyển văn bản thành giọng nói).
Trải nghiệm đơn giản một chút về mô hình TTS, cảm giác AI vẫn rất nặng, đặc biệt là phát âm TTS tiếng Trung, cứng nhắc, không trôi chảy, thậm chí có lỗi phát âm rõ ràng.
Trong lĩnh vực TTS tiếng Trung, cảm thấy TTS của Byte, Azure có thể thương mại hóa, còn TTS của OpenAI thì chưa khả thi lắm. Có lẽ liên quan đến khối lượng dữ liệu huấn luyện.
STT Trung Quốc chưa có kinh nghiệm, nhưng từ biểu đồ so sánh hiệu suất do OpenAI đưa ra, scribe-v1 tốt hơn OpenAI.
LLM
Những bất lợi của việc tách rời:
- Ba thứ tách biệt ở góc độ ứng dụng có khối lượng công việc rất lớn, và chuỗi gọi tổng thể rất phức tạp, độ trễ rất khó đảm bảo được sự mượt mà.
Bước này chắc chắn sẽ mất thông tin (giọng điệu, ngữ điệu, cảm xúc, v.v.), và những thông tin này trong giao tiếp của con người lại quan trọng hơn (hãy tưởng tượng khi bạn gái của bạn nói "ghét", giọng điệu nào đại diện cho ý nghĩa gì).
Ước tính khối lượng đào tạo và tính toán của mô hình lớn tích hợp không cùng một cấp độ, vì vậy hiện tại mới có sự lựa chọn như vậy, lựa chọn trade-off.