Algoritma Portamento Waktu Nyata Menggabungkan Sinyal Audio dengan Mulus

• Algoritma baru menghasilkan efek portamento antara dua sinyal audio apa pun secara waktu nyata.
• Ia secara mulus menggabungkan segmen frekuensi dari satu sinyal audio ke yang lain, tanpa meningkatkan/menurunkan volume sinyal.

Musikawan menggunakan efek yang disebut 'portamento' untuk transisi antara nada. Ini adalah teknik meluncur dari satu nada ke nada lain tanpa sebenarnya menentukan nada perantara.

Musikawan telah menggunakan portamento selama lebih dari 200 tahun. Namun, jenis alat musik yang terbatas yang dapat menghasilkan efek ini. Ini adalah alat musik yang dapat terus-menerus bervariasi dalam nada seperti biola atau suara manusia.

Baru-baru ini, seorang mahasiswa di MIT — Trevor Henderson — mengembangkan algoritma yang menghasilkan efek portamento antara dua sinyal audio apa pun secara waktu nyata. Dia menunjukkan kemampuan algoritma dengan menggabungkan klip audio yang berbeda, seperti satu lagu bergabung ke lagu lain, dan nada piano yang meluncur ke suara manusia.

Bagaimana Algoritma Bekerja?

Algoritma ini didasarkan pada kerangka kerja berbasis geometri berabad-abad yang dikenal sebagai 'optimal transport'. Kerangka kerja ini menentukan cara optimal untuk memindahkan titik data antara banyak konfigurasi asal dan tujuan. Ia telah diterapkan pada pemodelan 3D, perataan citra, dinamika fluida, dan grafik komputer.

Henderson menggunakan kerangka kerja ini untuk menginterpolasi sinyal audio. Algoritma bekerja dengan membagi sinyal audio menjadi segmen kecil (sekitar 50 milidetik). Kemudian, ia menentukan cara paling efisien untuk memindahkan nada dalam segmen individu ke nada dalam sinyal audio lain.

Dengan cara ini, algoritma menghasilkan luncuran halus dari efek portamento. Ini juga mempertahankan fidelitas audio saat sinyal bertransisi.

Referensi: arXiv:1906.06763 | MIT

Biasanya, efek fade digunakan untuk melembutkan transisi antara dua sinyal audio. Ini adalah metode tradisional di mana volume satu sinyal dikurangi sementara volume sinyal lain naik.

Algoritma baru, sebaliknya, secara mulus menggabungkan segmen frekuensi dari satu sinyal audio ke yang lain, tanpa meningkatkan/menurunkan volume sinyal.

Teknik ini memperluas portamento ke berbagai alat musik, termasuk poli-fonik. Faktanya, dapat digunakan untuk transisi antara berbagai set alat musik atau pasang sinyal audio apa pun. Ia menghasilkan hasil musik yang jelas secara waktu nyata.

Parameter 'interpolasi' dapat dikontrol oleh komponen slider seperti crossfader pada papan pencampuran DJ. Saat Anda menggeser crossfader, parameter berubah, menghasilkan efek portamento.

Untuk menghilangkan distorsi, Henderson menggunakan 'frequency reassignment', sebuah aplikasi dari teknik pemrosesan sinyal. Ini memungkinkan nada individual untuk dengan mudah bertransisi antara sinyal. Dia juga mengembangkan metode baru untuk menyintesis fase baru untuk setiap sinyal saat menggabungkan segmen audio kecil, sehingga segmen berseberangan tidak mengganggu satu sama lain.

Baca: Facebook AI Converts Music From One Style To Another

Dalam studi berikutnya, Henderson akan mencoba memberi masukan output portamento kembali ke inputnya. Ini mungkin menghasilkan efek lain yang disebut legato, yang mewakili gerakan fluida dan terus-menerus antara nada yang berbeda.