Bước đột phá: VALL-E 2 của Microsoft đạt khả năng tổng hợp giọng nói ngang ngửa con người

- Microsoft giới thiệu VALL-E 2, một mô hình ngôn ngữ codec neural đạt được hiệu suất cấp độ con người trong tổng hợp giọng nói zero-shot text-to-speech (TTS).
- Mô hình sử dụng hai tính năng mới: Repetition Aware Sampling và Grouped Code Modeling để cải thiện độ ổn định và hiệu quả của quá trình tổng hợp giọng nói.
- Repetition Aware Sampling cải tiến phương pháp nucleus sampling truyền thống bằng cách xem xét sự lặp lại token trong lịch sử giải mã, giúp cải thiện độ ổn định và ngăn chặn các vấn đề vòng lặp vô hạn.
- Grouped Code Modeling tổ chức các mã codec thành các nhóm để giảm độ dài chuỗi, tăng tốc độ suy luận và giải quyết các thách thức liên quan đến mô hình chuỗi dài.
- VALL-E 2 có thể tổng hợp giọng nói với độ chính xác và tự nhiên cao, ngay cả với các câu phức tạp. Mô hình chỉ yêu cầu dữ liệu cặp giọng nói-bản ghi âm đơn giản để huấn luyện.
- Mô hình đã được đánh giá trên các bộ dữ liệu LibriSpeech và VCTK, thể hiện hiệu suất vượt trội về độ mạnh mẽ, tính tự nhiên và sự tương đồng của giọng nói so với các hệ thống trước đây.
- VALL-E 2 là mô hình đầu tiên đạt được sự tương đương với con người trên các tiêu chuẩn này, tạo ra giọng nói chất lượng cao cho các câu phức tạp và lặp lại.
- Khả năng của VALL-E 2 có thể đặc biệt hữu ích trong việc tạo giọng nói cho những người bị suy giảm khả năng nói, chẳng hạn như những người mắc chứng mất ngôn ngữ hoặc bệnh xơ cứng teo cơ một bên.
- Mặc dù mô hình mới có tiềm năng đáng kể, nhưng nó cũng mang lại rủi ro lạm dụng, chẳng hạn như giả mạo giọng nói hoặc mạo danh. Mô hình giả định sự đồng ý của người dùng cho việc tổng hợp giọng nói.
- Trong các ứng dụng thực tế, VALL-E 2 nên bao gồm các giao thức phê duyệt của người nói và phát hiện giọng nói tổng hợp để ngăn chặn sự lạm dụng.

📌 VALL-E 2 của Microsoft đánh dấu bước tiến quan trọng trong lĩnh vực tổng hợp giọng nói, đạt được hiệu suất ngang ngửa con người với các tính năng mới như Repetition Aware Sampling và Grouped Code Modeling. Mô hình mới mang lại tiềm năng to lớn trong việc hỗ trợ người dùng có vấn đề về giọng nói, tuy nhiên cũng cần có các biện pháp bảo vệ để tránh bị lạm dụng.

https://analyticsindiamag.com/microsoft-rolls-out-vall-e-2-attains-human-level-speech-synthesis/