Facebook Ungkap MelNet: AI yang Tepat Mereplikasi Suara Siapa Pun
Model deep learning baru bernama MelNet dapat menghasilkan intonasi manusia dengan akurasi yang aneh.
Setelah dilatih, ia dapat meregenerasi suara siapa pun dalam beberapa detik.
Peneliti demonstrasikan seberapa tepatnya ia dapat kloning suara Bill Gates.
Telah terjadi kemajuan besar dalam teknik machine learning dalam beberapa tahun terakhir. Teknik ini bekerja sangat baik dalam mengenali objek, wajah dan menghasilkan gambar yang realistis.
Namun, ketika datang ke audio, buatan pintar adalah sesuatu yang mengecewakan. Bahkan sistem text-to-speech terbaik masih kurang fitur dasar, seperti perubahan intonasi. Pernahkah Anda mendengar suara yang dihasilkan mesin dari Stephen Hawking? Kadang-kadang, sangat sulit untuk memahami kalimatnya.
Sekarang, ilmuwan di Facebook AI Research telah mengembangkan metode untuk mengatasi keterbatasan sistem text-to-speech yang ada. Mereka telah membangun model generatif — bernama MelNet — yang dapat menghasilkan intonasi manusia dengan akurasi yang aneh. Faktanya, ia dapat berbicara lancar dengan suara siapa pun.
Bagaimana MelNet Berbeda dari Ucapan Mesin yang Ada?
Sebagian besar algoritma deep learning dilatih pada basis data audio besar untuk meregenerasi pola ucapan nyata. Masalah utama dengan metodologi ini adalah jenis data. Biasanya, algoritma ini dilatih pada rekaman gelombang audio, yang memiliki struktur kompleks pada skala waktu yang sangat bervariasi.
Rekaman ini mewakili bagaimana amplitudo suara bervariasi seiring waktu: satu detik audio berisi puluhan ribu langkah waktu. Gelombang semacam ini mencerminkan pola tertentu pada sejumlah skala yang berbeda.
Model generatif gelombang yang ada (seperti SampleRNN dan WaveNet) hanya dapat backpropagate melalui sebagian detik. Oleh karena itu, mereka tidak dapat menangkap struktur tingkat tinggi yang muncul pada skala beberapa detik.
MelNet, di sisi lain, menggunakan spektrogram (bukan gelombang audio) untuk melatih jaringan deep learning. Spektrogram adalah representasi waktu-frekuensi 2D yang menunjukkan seluruh spektrum frekuensi audio dan bagaimana mereka bervariasi seiring waktu.
Pola spektrogram dan gelombang dari konten audio 4 detik yang sama
Sedangkan gelombang waktu-domain 1D menangkap perubahan seiring waktu dari satu variabel (amplitudo), spektrogram menangkap perubahan pada berbagai frekuensi. Jadi, informasi audio dipadatkan lebih rapat dalam spektrogram.
Ini memungkinkan MelNet untuk menghasilkan sampel ucapan dan musik tanpa kondisi dengan konsistensi selama beberapa detik. Ia juga mampu menghasilkan ucapan kondisional dan sintesis teks-ke-ucapan, sepenuhnya sejak akhir hingga akhir.
Referensi: arXiv:1906.01083 | GitHub
Untuk mengurangi kehilangan informasi dan membatasi over-smoothing, mereka memodelkan spektrogram resolusi tinggi dan menggunakan model autoregresif yang sangat ekspresif, masing-masing.
Hasil yang Mengesankan
Peneliti melatih MelNet pada banyak TED talks, dan kemudian ia mampu meregenerasi suara pembicara yang mengatakan frasa acak selama beberapa detik. Berikut adalah dua contoh MelNet menggunakan suara Bill Gates untuk mengatakan frasa acak.
Meskipun MelNet membuat klip audio yang sangat mirip nyata, ia tidak dapat menghasilkan kalimat atau paragraf yang lebih panjang. Namun, sistem ini dapat meningkatkan interaksi komputer-manusia.
Banyak percakapan customer care melibatkan frasa pendek. MelNet dapat digunakan untuk mengotomatisasi interaksi semacam itu atau menggantikan sistem suara otomatis saat ini untuk meningkatkan pengalaman pemanggil.
Baca: Facebook AI Mengubah Musik Dari Gaya Satu ke Gaya Lain
Catatan negatif, teknologi ini menimbulkan specter dari era baru konten audio palsu. Dan seperti kemajuan lain dalam buatan pintar, ini menimbulkan lebih banyak pertanyaan etika daripada yang dijawabnya.
