Algoritma Baru Memadukan Dua Sinyal Audio dengan Mulus
- Algoritme baru menghasilkan efek portamento antara dua sinyal audio secara real-time.
- Ini memadukan segmen frekuensi dengan mulus dari satu sinyal audio ke sinyal audio lainnya, tanpa menambah/mengurangi volume sinyal.
Musisi menggunakan efek yang disebut 'portamento' untuk transisi antar nada. Ini adalah teknik meluncur dari satu nada ke nada lainnya tanpa benar-benar menentukan nada perantara.
Musisi telah menggunakan portamento selama lebih dari 200 tahun. Namun, jenis instrumen terbatas dapat melakukan efek ini. Ini adalah instrumen yang nadanya dapat terus berubah seperti biola atau suara manusia.
Baru-baru ini, seorang mahasiswa di MIT — Trevor Henderson — mengembangkan algoritme yang menghasilkan efek portamento antara dua sinyal audio secara real-time. Dia mendemonstrasikan kemampuan algoritme dengan menggabungkan klip audio yang berbeda, seperti satu lagu yang menyatu dengan yang lain, dan nada piano yang meluncur menjadi suara manusia.
Bagaimana Algoritma Bekerja?
Algoritma ini didasarkan pada kerangka berbasis geometri berusia berabad-abad yang dikenal sebagai 'transportasi optimal'. Kerangka kerja menentukan cara optimal untuk memindahkan titik data antara beberapa konfigurasi asal dan tujuan. Ini telah diterapkan pada pemodelan 3D, perataan gambar, dinamika fluida, dan grafik komputer.
Henderson menggunakan kerangka kerja ini untuk menginterpolasi sinyal audio. Algoritma ini bekerja dengan membagi sinyal audio menjadi segmen-segmen kecil (sekitar 50 milidetik). Kemudian, ini menentukan cara paling efisien untuk memindahkan nada di segmen individu ke nada di sinyal audio lainnya.
Dengan cara ini, algoritme menghasilkan efek portamento yang mulus. Ini juga mempertahankan fidelitas audio saat sinyal bertransisi.
Referensi:arXiv:1906.06763 | MIT
Biasanya, efek fading digunakan untuk memperhalus transisi antara dua sinyal audio. Ini adalah metode tradisional di mana volume satu sinyal dikurangi sementara volume sinyal lainnya naik.
Algoritme baru, di sisi lain, memadukan segmen frekuensi dengan mulus dari satu sinyal audio ke sinyal audio lainnya, tanpa menambah/mengurangi volume sinyal.
Teknik ini memperluas portamento ke berbagai instrumen, termasuk yang polifonik. Bahkan, ini dapat digunakan untuk transisi antara set instrumen yang berbeda atau pasangan sinyal audio lainnya. Ini menghasilkan hasil musik yang jelas secara real-time.
'Parameter interpolasi' dapat dikontrol oleh komponen slider seperti crossfader pada mixing board DJ. Saat Anda menggeser crossfader, parameter berubah, menghasilkan efek portamento.
Untuk menghilangkan distorsi, Henderson menggunakan 'pengubahan frekuensi', sebuah aplikasi dari teknik pemrosesan tunggal. Hal ini memungkinkan catatan individu untuk dengan mudah transisi antara sinyal. Dia juga mengembangkan metode baru untuk mensintesis fase baru untuk setiap sinyal sambil menggabungkan segmen kecil audio, sehingga segmen yang berdekatan tidak saling mengganggu.
Baca: Facebook AI Mengonversi Musik dari Satu Gaya ke Gaya Lain
Dalam studi berikutnya, Henderson akan mencoba memasukkan output portamento kembali ke inputnya. Ini mungkin menghasilkan efek lain yang disebut legato, yang mewakili gerakan yang lancar dan berkelanjutan di antara nada-nada yang berbeda.
