Pemrosesan akustik real-time yang berhasil memerlukan perencanaan yang cermat

Latensi rendah, pemrosesan akustik waktu-nyata merupakan faktor kunci dalam banyak aplikasi pemrosesan yang disematkan, di antaranya prapemrosesan suara, pengenalan ucapan, dan pembatalan bising aktif (ANC). Karena persyaratan kinerja waktu nyata terus meningkat dalam domain aplikasi ini, pengembang perlu mengadopsi pola pikir strategis untuk mengakomodasi kebutuhan ini dengan benar. Mengingat kinerja substansial yang ditawarkan oleh banyak sistem yang lebih besar pada chip, mungkin tergoda untuk hanya memuat perangkat ini dengan tugas tambahan apa pun yang muncul, tetapi penting untuk dipahami bahwa latensi dan determinisme adalah elemen penting yang dapat dengan mudah mengarah ke sistem waktu nyata utama masalah jika tidak dipertimbangkan dengan hati-hati. Artikel ini akan membahas masalah yang harus dipertimbangkan oleh desainer saat memilih antara SoC dan DSP audio khusus untuk menghindari kejutan yang tidak menyenangkan dalam sistem akustik real-time mereka.

Sistem akustik latensi rendah mencakup berbagai aplikasi. Misalnya, di ruang otomotif saja, latensi rendah sangat penting untuk zona audio pribadi, pembatalan kebisingan di jalan, dan sistem komunikasi dalam mobil, untuk beberapa nama.

Dengan munculnya tren elektrifikasi kendaraan, ANC menjadi semakin penting karena tidak ada mesin pembakaran yang menghasilkan suara bising. Oleh karena itu, suara yang terkait dengan antarmuka mobil-ke-jalan menjadi jauh lebih terlihat dan menyinggung. Mengurangi kebisingan ini tidak hanya menciptakan pengalaman berkendara yang lebih nyaman, tetapi juga mengurangi kelelahan pengemudi. Ada banyak tantangan yang terkait dengan penerapan sistem akustik latensi rendah pada SoC dibandingkan dengan pada DSP audio khusus. Ini termasuk masalah latensi, skalabilitas, kemampuan upgrade, pertimbangan algoritme, akselerasi perangkat keras, dan dukungan pelanggan. Mari kita periksa masing-masing secara bergantian.

Latensi

Masalah latency dalam sistem pemrosesan akustik real-time adalah salah satu yang penting. Jika prosesor tidak dapat mengikuti pergerakan data real-time dan tuntutan komputasi sistem, penurunan audio yang tidak dapat diterima dapat terjadi.

Biasanya, SoC memiliki SRAM on-chip kecil dan, karenanya, harus bergantung pada cache untuk sebagian besar akses memori lokal. Ini memperkenalkan ketersediaan kode dan data nondeterministik, dan juga meningkatkan latensi pemrosesan. Untuk aplikasi waktu nyata seperti ANC, ini saja bisa menjadi pemecah kesepakatan. Namun, ada juga fakta bahwa SoC menjalankan sistem operasi non-real-time yang mengelola beban multitasking yang berat. Hal ini memperkuat karakteristik pengoperasian sistem yang tidak deterministik, sehingga sangat sulit untuk mendukung pemrosesan akustik yang relatif kompleks dalam lingkungan multitugas.

Gambar 1 menunjukkan contoh nyata dari SoC yang menjalankan beban pemrosesan audio waktu nyata, di mana pemuatan CPU melonjak saat tugas SoC dengan prioritas lebih tinggi dilayani. Lonjakan ini dapat terjadi, misalnya, karena aktivitas SoC-sentris seperti rendering media, penjelajahan, atau eksekusi aplikasi pada sistem. Setiap kali lonjakan melebihi 100% pemuatan CPU, SoC tidak lagi beroperasi secara real time, dan ini akan mengakibatkan putusnya audio.

klik untuk gambar ukuran penuh

Gambar 1:Beban CPU seketika untuk SoC representatif yang menjalankan pemrosesan memori audio tinggi selain tugas-tugas lain [1]. (Sumber:Perangkat Analog)

Audio DSP, di sisi lain, dirancang untuk latensi rendah di seluruh jalur pemrosesan sinyal, dari input audio sampel hingga output speaker komposit (misalnya, audio + anti-noise). Instruksi L1 dan SRAM data, memori siklus tunggal yang paling dekat dengan inti prosesor, cukup memadai untuk mendukung banyak algoritma pemrosesan tanpa memindahkan data perantara ke memori off-chip. Selain itu, memori L2 on-chip (lebih jauh dari inti tetapi aksesnya masih jauh lebih cepat daripada DRAM off-chip) membantu menyediakan buffer untuk operasi data menengah ketika penyimpanan L1 SRAM terlampaui. Terakhir, DSP audio biasanya menjalankan sistem operasi waktu-nyata (real-time operating system/RTOS) yang memastikan data yang masuk dapat diproses dan dikirim ke tujuan targetnya sebelum data masukan baru tiba, sehingga memastikan bahwa buffer data tidak meluap selama operasi waktu-nyata.

Latensi aktual dalam boot sistem—sering diukur dengan ketersediaan waktu-ke-audio—juga dapat menjadi metrik penting, terutama dalam sistem otomotif di mana peringatan yang dapat didengar harus disiarkan dalam jendela tertentu sejak startup. Di dunia SoC, di mana biasanya memiliki urutan boot yang panjang yang melibatkan membawa sistem operasi untuk seluruh perangkat, mungkin sulit atau tidak mungkin untuk memenuhi persyaratan start-up ini. Di sisi lain, DSP audio mandiri yang menjalankan RTOS-nya sendiri yang tidak terpengaruh oleh prioritas sistem asing lainnya dapat dioptimalkan untuk boot cepat yang secara nyaman memenuhi persyaratan waktu-ke-audio.

Skalabilitas

Sementara masalah latensi bermasalah untuk SoC dalam aplikasi seperti kontrol kebisingan, kelemahan utama lain untuk SoC yang ingin melakukan pemrosesan akustik adalah dalam skalabilitas. Dengan kata lain, SoC yang mengontrol sistem besar (seperti unit head-end dan cluster otomotif) dengan banyak subsistem yang berbeda tidak dapat dengan mudah menskalakan dari kebutuhan audio kelas bawah hingga kelas atas karena ada konflik konstan antara kebutuhan skalabilitas setiap komponen subsistem, yang membutuhkan trade-off dalam pemanfaatan SoC secara keseluruhan. Misalnya, jika SoC head-end terhubung ke tuner jarak jauh dan, di seluruh model otomotif, tuner itu perlu menskalakan dari beberapa saluran ke banyak saluran, setiap konfigurasi saluran akan memperkuat masalah waktu nyata yang disebutkan sebelumnya. Ini karena setiap fitur tambahan di bawah kendali SoC mengubah perilaku waktu nyata SoC dan ketersediaan sumber daya komponen arsitektur utama yang digunakan oleh banyak fungsi. Sumber daya ini mencakup aspek seperti bandwidth memori, siklus inti prosesor, dan slot arbitrase fabric bus sistem.

Terlepas dari kekhawatiran tentang subsistem lain yang terhubung ke SoC multitasking, subsistem akustik itu sendiri memiliki masalah skalabilitasnya sendiri. Ada penskalaan kelas bawah hingga kelas atas (misalnya, meningkatkan jumlah saluran mikrofon dan speaker dalam aplikasi ANC), dan ada juga penskalaan pengalaman audio, mulai dari dekode audio dasar dan pemutaran stereo hingga virtualisasi 3D dan fitur premium lainnya. Meskipun persyaratan ini tidak berbagi batasan waktu nyata dari sistem ANC, persyaratan ini tetap berhubungan langsung dengan pilihan prosesor audio untuk suatu sistem.

Memanfaatkan DSP audio terpisah sebagai coprocessor ke SoC membantu menyelesaikan masalah skalabilitas audio, memungkinkan desain sistem modular, dan mengoptimalkan biaya (lihat Gambar 2). SoC dapat fokus jauh lebih sedikit pada kebutuhan pemrosesan akustik real-time dari sistem yang lebih besar, alih-alih memindahkan pemrosesan itu ke DSP audio latensi rendah. Selain itu, DSP audio yang menawarkan beberapa harga/kinerja/tingkat memori yang berbeda di seluruh peta jalan yang kompatibel dengan kode dan kompatibel dengan pin menawarkan fleksibilitas maksimum bagi perancang sistem untuk menyesuaikan ukuran penawaran kinerja audio untuk tingkat produk tertentu.

klik untuk gambar ukuran penuh

Gambar 2:ilustrasi prosesor audio yang sangat skalabel. Memanfaatkan prosesor audio terpisah, seperti DSP ADSP-2156x yang ditampilkan di sini, membantu menyelesaikan masalah skalabilitas audio, memungkinkan desain sistem modular, dan mengoptimalkan biaya.. (Sumber:Perangkat Analog)

Kemampuan untuk meningkatkan versi

Karena pembaruan firmware over-the-air menjadi lebih umum di kendaraan saat ini, peningkatan kemampuan untuk mengeluarkan patch kritis atau menyediakan fungsionalitas baru menjadi semakin penting. Ini dapat menyebabkan masalah besar untuk SoC karena meningkatnya ketergantungan di antara berbagai subsistemnya. Pertama, pada SoC, banyak pemrosesan dan utas pergerakan data berlomba-lomba untuk mendapatkan sumber daya. Hal ini meningkatkan persaingan untuk MIPS prosesor dan memori ketika fitur baru ditambahkan, terutama selama aktivitas puncak yang meledak-ledak. Dari perspektif audio, penambahan fitur di domain kontrol SoC lainnya dapat memiliki efek yang tidak terduga pada kinerja akustik waktu nyata. Satu efek samping dari situasi ini adalah bahwa fungsionalitas baru harus diuji silang di semua bidang operasi, menghasilkan banyak sekali permutasi antara berbagai mode operasi dari subsistem yang bersaing. Dengan demikian, verifikasi perangkat lunak meningkat secara eksponensial untuk setiap paket peningkatan.

Dilihat dari sudut yang berbeda, dapat dikatakan bahwa peningkatan performa audio SoC bergantung pada SoC MIPS yang tersedia, selain peta jalan fitur untuk subsistem lain yang dikendalikan oleh SoC.

Pengembangan dan Kinerja Algoritma

Harus jelas bahwa, saat mengembangkan algoritme akustik waktu nyata, DSP audio dibuat khusus untuk tugas tersebut. Sebagai pembeda yang signifikan untuk SoC, DSP audio mandiri dapat menawarkan lingkungan pengembangan grafis yang memungkinkan para insinyur dengan pengalaman pengkodean DSP minimal untuk menambahkan pemrosesan akustik berkualitas ke dalam desain mereka. Jenis alat ini dapat menurunkan biaya pengembangan dengan mengurangi waktu pengembangan tanpa mengorbankan kualitas atau kinerja.

Sebagai contoh, lingkungan pengembangan audio grafis SigmaStudio ADI menawarkan berbagai macam algoritma pemrosesan sinyal yang terintegrasi ke dalam antarmuka pengguna grafis (GUI) intuitif, yang memungkinkan pembuatan aliran sinyal audio yang rumit (lihat Gambar 3). Ini juga mendukung konfigurasi A2B grafis untuk transportasi audio, sangat membantu untuk mengkatalisasi pengembangan sistem akustik real-time.

klik untuk gambar ukuran penuh

Gambar 3:Lingkungan pengembangan audio grafis seperti SigmaStudio dari Perangkat Analog menyediakan akses ke berbagai macam algoritma pemrosesan sinyal yang terintegrasi ke dalam antarmuka pengguna grafis (GUI) yang intuitif, menyederhanakan pembuatan aliran sinyal audio yang rumit.. (Sumber:Perangkat Analog)

Fitur Perangkat Keras yang Ramah Audio

Selain arsitektur inti prosesor yang dirancang khusus untuk komputasi titik-mengambang paralel yang efisien dan akses data, DSP audio sering kali memiliki akselerator multisaluran khusus untuk audio primitif umum seperti transformasi Fourier cepat (FFT), respons impuls terbatas dan tak terbatas (FIR dan IIR). ) pemfilteran, dan konversi laju sampel asinkron (ASRC). Ini memungkinkan pemfilteran audio waktu nyata, pengambilan sampel, dan konversi domain frekuensi di luar CPU inti, meningkatkan kinerja inti yang efektif. Selain itu, mereka dapat memfasilitasi model pemrograman yang fleksibel dan ramah pengguna karena arsitekturnya yang dioptimalkan dan kemampuan manajemen aliran datanya.

Karena banyaknya jumlah saluran audio, aliran filter, laju pengambilan sampel, dan sejenisnya, penting untuk memiliki antarmuka pin yang dapat dikonfigurasi secara maksimal yang memungkinkan konversi laju sampel in-line, clocking presisi, dan port serial kecepatan tinggi yang sinkron untuk merutekan data secara efisien dan hindari latensi tambahan atau logika antarmuka eksternal. Interkoneksi audio digital (DAI) dari keluarga prosesor SHARC ADI menggambarkan kemampuan ini, seperti yang ditunjukkan pada Gambar 4.

klik untuk gambar ukuran penuh

Gambar 4:Digital audio interconnect (DAI) adalah antarmuka pin yang dapat dikonfigurasi secara maksimal yang memungkinkan konversi laju sampel in-line, clocking presisi, dan port serial kecepatan tinggi sinkron untuk merutekan data secara efisien dan menghindari latensi tambahan atau logika antarmuka eksternal. (Sumber:Perangkat Analog)

Dukungan Pelanggan

Salah satu aspek yang sering diabaikan dalam pengembangan dengan prosesor tertanam adalah dukungan pelanggan untuk perangkat.

Meskipun vendor SoC mempromosikan menjalankan algoritma akustik pada produk DSP terintegrasi mereka, ini membawa beberapa kewajiban dalam praktiknya. Pertama, dukungan vendor seringkali lebih kompleks, karena keahlian akustik biasanya bukan domain pengembangan aplikasi SoC. Akibatnya, cenderung ada dukungan yang lemah bagi pelanggan yang ingin mengembangkan algoritme akustik mereka sendiri pada teknologi DSP on-chip SoC. Sebaliknya, vendor mungkin menawarkan algoritme standar dan membebankan NRE yang signifikan ke algoritme akustik port ke satu atau lebih inti SoC. Meski begitu, tidak ada jaminan keberhasilan, terutama jika vendor tidak menawarkan perangkat lunak kerangka kerja latensi rendah yang matang. Terakhir, ekosistem pihak ketiga untuk pemrosesan akustik berbasis SoC cenderung agak rapuh, karena ini bukan fokus SoC, melainkan fitur yang didukung secara oportunistik.

DSP audio yang dibuat khusus membawa ekosistem yang jauh lebih kuat untuk pengembangan sistem akustik yang kompleks, dari pustaka algoritme yang dioptimalkan dan driver perangkat hingga sistem operasi waktu nyata dan alat pengembangan yang mudah digunakan. Platform referensi yang berfokus pada audio (seperti platform modul audio SHARC ADI, yang ditunjukkan pada Gambar 5) bahwa kecepatan waktu ke pasar jarang terjadi untuk SoC, tetapi cukup umum di domain DSP audio mandiri.

Gambar 5:DSP biasanya menyediakan platform pengembangan yang berfokus pada audio seperti yang ditunjukkan di sini SHARC audio module (SAM).. (Sumber:Analog Devices)

Merancang sistem akustik real-time melibatkan perencanaan strategis sumber daya sistem yang disengaja dan tidak bisa begitu saja dikelola melalui pengalokasian ruang kepala pemrosesan yang tersisa pada SoC multitasking. Sebagai gantinya, DSP audio mandiri yang dioptimalkan untuk pemrosesan latensi rendah cenderung mengarah pada peningkatan ketahanan, penurunan waktu pengembangan, dan skalabilitas optimal untuk mengakomodasi kebutuhan sistem dan tingkat kinerja di masa mendatang.

Referensi

[1] Paul Beckmann. “Prosesor SOC Multicore:Performa, Analisis, dan Optimalisasi.” Konferensi Internasional AES 2017 tentang Audio Otomotif, Agustus 2017.

---

David Katz memiliki 30 tahun pengalaman dalam desain sistem analog, digital, dan tertanam. Dia adalah direktur arsitektur sistem untuk infotainment otomotif di Analog Devices, Inc. Dia telah menerbitkan hampir 100 artikel pemrosesan tertanam secara internasional, dan dia telah mempresentasikan beberapa makalah konferensi di lapangan. Sebelumnya, ia bekerja di Motorola, Inc., sebagai insinyur desain senior di modem kabel dan grup otomatisasi pabrik. David memegang keduanya B.S. dan M.Eng. di bidang teknik listrik dari Cornell University. Dia dapat dihubungi di [email protected].

---

Konten Terkait:

• Memadukan perangkat keras dan perangkat lunak untuk audio yang lebih baik
• Bagaimana prosesor audio edge mengaktifkan integrasi suara di perangkat IoT
• AI menemukan suaranya dalam rantai audio
• Solusi ANC adaptif menghadirkan kemampuan audio yang ditingkatkan
• Pertimbangan desain untuk sistem perintah suara yang selalu aktif dan berdaya rendah

Untuk lebih banyak Tertanam, berlangganan buletin email mingguan Tersemat.