Memberikan AV indera pendengaran yang lebih baik

Jika pengemudi dapat mendengar sirene, mengapa kendaraan otonom tidak dapat melakukannya sama?

Dalam situasi darurat seperti kecelakaan lalu lintas yang parah, setiap detik berharga, dan jalur penyelamatan yang cukup lebar dapat membuat perbedaan antara hidup dan mati. Jika pengemudi dapat mendengar sirene, mengapa kendaraan otonom tidak dapat melakukan hal yang sama? Avelabs yang berbasis di Kairo, Mesir telah mengembangkan solusi sensor yang memberikan indera pendengaran pada kendaraan untuk melengkapi penglihatan dan meningkatkan sistem mengemudi otonom.

“Visi adalah indra terpenting kami saat mengevaluasi lingkungan,” kata Amr Abdelsabour, direktur Manajemen Produk di Avelabs, dalam sesi panel di AutoSens Brussels tahun ini. “Namun, sebagai manusia pengemudi, kami tidak hanya bergantung pada visi. Saat kita mengemudi, kita juga bergantung pada pendengaran kita. Ada banyak informasi yang bisa kita dengar tetapi tidak terlihat seperti sirene yang datang dari belakang. Atau, jika kita berkendara ke persimpangan buta dan sebuah mobil datang, kita tidak dapat benar-benar melihatnya, tetapi kita dapat mendengarnya.”

Di AutoSens, Avelabs memperkenalkan AutoHears, sistem penginderaan akustik yang mendeteksi, mengklasifikasikan, dan melokalisasi suara untuk membantu memahami lingkungan kendaraan yang kompleks. AutoHears, yang mencakup perangkat keras, penutup mekanis, dan perangkat lunak yang menjalankan fitur penginderaan, bertujuan untuk mengeksekusi kendaraan darurat, medan tertutup, bencana alam (misalnya longsoran batu) dan deteksi peristiwa keselamatan (misalnya tabrakan di sekitar, tembakan, ledakan), serta sebagai diagnosa diri kendaraan dan pengenalan suara.

Dalam diskusi lanjutan dengan EE Times Europe , Abdelsabour menjelaskan apa yang diperlukan untuk memberikan indera pendengaran pada kendaraan, bagaimana perangkat lunak dan perangkat keras saling bergantung, di mana dan bagaimana proses penggabungan data dilakukan, dan kapan AutoHears dapat diluncurkan?

EE Times Europe:Bisakah Anda menjelaskan jenis suara yang dapat dan tidak dapat dideteksi oleh AutoHears?

Amr Abdelsabour: Kami mulai dengan suara kendaraan yang berjalan (misalnya ban, mesin, rem, dan suara aerodinamis), serta klakson dan sirene dengan standar berbeda di seluruh dunia. Kelas-kelas inilah yang telah diuji dan didemonstrasikan sejauh ini. Saat ini kami sedang mengerjakan penambahan kelas baru seperti bencana alam dan deteksi tabrakan, tetapi mereka masih dalam tahap pengembangan fitur. Sebuah peta jalan untuk pengembangan fitur sedang dibangun.

EE Times Europe:AutoHears mendeteksi suara dari semua sudut. Apakah ada batasan fisik?

Perut: AutoHears dapat mendeteksi suara dari semua sudut, dan tidak hanya itu, tetapi juga suara yang datang dari balik dinding dan penghalang lainnya. Tentu saja ada keterbatasan fisik. Pengukuran suara adalah proses penginderaan relatif, di mana suara dirasakan relatif terhadap lingkungannya. Artinya, jika lingkungan sepi, AutoHears akan dapat mendeteksi suara samar dan lemah seperti suara sepeda dan bahkan langkah kaki. Namun, jika lingkungan bising, AutoHears hanya dapat mendeteksi suara yang paling signifikan. Jadi, misalnya, jika sirene keras aktif di dekatnya, kami tidak akan dapat mendeteksi suara motor kendaraan lain karena suara keras akan menutupi suara yang tenang. Namun demikian, kami sedang berupaya menemukan batasan fisik yang tepat dalam jumlah objektif untuk dapat memberikan batasan yang dapat diandalkan kepada pelanggan kami.

EE Times Europe:Bagaimana dengan klasifikasi suara?

Perut: Klasifikasi suara adalah proses yang kompleks, terutama jika menyangkut suara yang tidak standar. Jika kita berbicara tentang suara standar seperti sirene, proses klasifikasi menjadi mudah dan cukup sederhana dan dapat dilakukan dengan menggunakan algoritma berbasis model. Namun, deteksi kendaraan yang berjalan adalah proses yang lebih kompleks, karena merupakan kombinasi non-standar dari suara yang terdiri dari komponen fisik yang berbeda yang menciptakan suara akhir yang didengar oleh telinga atau sensor kita. Di sinilah berbagai metode kecerdasan buatan berperan, untuk dapat mengklasifikasikan suara berdasarkan pembelajaran mesin melalui data yang dikumpulkan dan untuk mendeteksi dan mengklasifikasikan suara sesuai dengan apa yang telah mereka pelajari. Kami bangga mengatakan bahwa, di AutoHears, kami telah menerapkan kombinasi algoritme berbasis model dan pembelajaran mesin untuk mengklasifikasikan suara, tergantung pada suara target yang akan dideteksi.

EE Times Europe:Bagaimana data audio menyatu dengan data gambar dari kamera atau sensor lain yang tertanam di dalam mobil?

Perut: Seperti halnya dengan pengemudi manusia, suara melengkapi penglihatan. Beginilah cara kami melihat AutoHears dan kami telah mengembangkannya sesuai dengan itu. Karena kami terutama memperhatikan bagian penginderaan akustik, kami memberikan informasi penginderaan akustik mentah yang dapat digabungkan dengan sensor lain seperti kamera dan radar untuk mengklasifikasikan dan melokalisasi objek sehingga dapat menggunakan kekuatan masing-masing sensor terpisah dan mengatasi kelemahannya . Jadi, misalnya, menggabungkan radar, kamera, dan AutoHears dapat menghasilkan deteksi kendaraan berikut di titik buta kami:Radar dapat mendeteksi rintangan dan memperkirakan jaraknya secara akurat (karena radar sangat andal dari aspek itu), kamera akan mengklasifikasikan objek itu (jika ada kamera yang melihat ke arah di mana kendaraan target berada), AutoHears akan mengkonfirmasi deteksi dengan klasifikasi dan lokalisasinya sendiri dari kendaraan ini serta menambahkan informasi jika kendaraan tersebut mengeluarkan suara seperti itu. seperti membunyikan klakson atau membunyikan sirene. Kombinasi semua sensor bersama-sama menjadikan fusi sensor sebagai rekonstruksi lingkungan sekitar yang sangat meyakinkan dengan cara terbaik.

EE Times Europe:Mengapa Anda memutuskan untuk membangun sistem yang lengkap? Mengapa penting untuk menangani semua aspek perangkat lunak dan perangkat keras?

Perut: AutoHears sebagai sistem penginderaan adalah salah satu sistem deteksi pertama dari jenisnya, yaitu sistem deteksi akustik. Karena Avelabs adalah perusahaan perangkat lunak, pada awalnya kami ingin fokus utama kami hanya pada penginderaan fitur dari perspektif perangkat lunak dan tidak fokus pada bagian perangkat keras. Namun, tanpa perangkat keras penginderaan, tidak akan ada fitur penginderaan. Perangkat keras penginderaan adalah enabler utama dari fitur penginderaan, karena sensor tidak sesederhana menempatkan mikrofon di dalam kendaraan untuk mengaktifkan deteksi, melainkan perangkat keras harus dirancang dengan hati-hati untuk memungkinkan lokalisasi akurat dari lingkungan. Untuk melokalisasi objek, algoritme pelokalan bergantung pada faktor fisik seperti perbedaan waktu kedatangan suara, yang hanya dapat dideteksi jika perangkat keras dirancang sedemikian rupa sehingga memungkinkan pendeteksian ini. Ada beberapa faktor perangkat keras yang terlibat seperti jumlah mikrofon, jarak di antara mereka, dan penempatannya di kendaraan. Semua persyaratan perangkat keras ini memaksa kami untuk merancang dan membangun perangkat keras sendiri untuk mengaktifkan fitur penginderaan akustik yang kami tawarkan. Sederhananya, tidak ada perusahaan yang menawarkan perangkat keras pendeteksi akustik eksternal untuk kendaraan, itulah sebabnya kami harus mengembangkannya sendiri.

EE Times Europe:Bisakah Anda memberi saya beberapa detail tentang sensor akustik itu sendiri? Dan pada CPU tempat algoritme berjalan?

Perut: Kami telah memutuskan arsitektur terpusat dalam hal sensor dan sistem prosesor. Keputusan ini mengikuti tren yang diambil semua perusahaan otomotif saat ini, yaitu mengandalkan sensor yang mendeteksi data mentah (kamera, radar,…). Data mentah kemudian dikirim ke pengontrol domain terpusat di mana fusi sensor berlangsung. Itulah sebabnya kami membangun sensor akustik menjadi sensor data mentah, mendeteksi semua informasi akustik dan mengirimkannya ke pengontrol domain terpusat tempat algoritme penginderaan dijalankan. Seperti yang Anda ketahui, kami merancang sendiri sensor akustik, tetapi kami menggunakan pengontrol domain otomotif yang tersedia seperti Xilinx FPGA dan TI ADAS TDA SoC sebagai CPU yang menjalankan algoritme kami. Namun, karena setiap pelanggan menggunakan pengontrol domain mereka sendiri, kami menggunakan prosesor ini hanya sebagai perangkat keras referensi. Karena kami dapat dengan mudah digunakan pada semua jenis pengontrol domain dengan penyesuaian yang diperlukan.

EE Times Europe:Mengapa Anda mengatakan AutoHears "bergantung pada perangkat keras"?

Perut: AutoHears sebagai sensor dan sebagai algoritma penginderaan memiliki komponen generik dan komponen perangkat keras tertentu, tergantung pada fitur yang diinginkan oleh pelanggan dan pengontrol pemrosesan yang digunakan pelanggan. Jadi, misalnya, jika pelanggan hanya menginginkan arah kejadian suara (tanpa jarak dengan objek yang mengeluarkan suara), cukup menggunakan satu sensor. Tetapi jika pelanggan juga ingin mendeteksi jarak objek, perlu menggunakan beberapa sensor untuk melakukan triangulasi jarak objek. Ini adalah fitur yang bergantung pada perangkat keras, misalnya.

Sisi lain tentang ketergantungan perangkat keras adalah kontroler domain yang digunakan untuk memproses fitur penginderaan. Performa fitur kami bergantung pada prosesor yang menjalankannya dan kemampuannya. Ada trade off antara kinerja dan persyaratan pemrosesan perangkat keras. Jadi, misalnya, jika kita ingin AutoHears mendeteksi dengan resolusi satu derajat, ini akan membutuhkan lebih banyak sumber daya pemrosesan. Jika kita menurunkan kinerja yang kita inginkan, demikian juga persyaratan pemrosesan. Selain itu, setiap perangkat keras baru akan hadir dengan beberapa penyesuaian khusus perangkat keras untuk lapisan abstraksi mikrokontroler seperti driver sensor AutoHears yang akan diimplementasikan ke dalam lingkungan perangkat lunak dasar pelanggan.

EE Times Europe:Di mana Anda dalam hal pengembangan? Kapan Anda berencana menguji AutoHears di jalan umum? Kapan AutoHears akan diproduksi?

Perut: AutoHears dapat dipertimbangkan dalam fase pengembangan produk. Kami telah membuktikan konsep dari perspektif teknis dan keuangan, melakukan demonstrasi dan tes untuk membuktikan kelayakan dan saat ini kami sedang mengerjakan "memproduksi" pengembangan. Ini termasuk validasi jalan umum serta memperoleh sertifikasi otomotif. Ini adalah dua langkah yang diperlukan bagi kami untuk beralih dari pengembangan produk ke komersialisasi. Ini adalah langkah-langkah yang perlu diambil sebelum siap produksi.

EE Times Europe:Apakah Anda memiliki pelanggan awal yang menguji solusi?

Perut: Meskipun kami mulai mengumumkan produk di AutoSens September ini, kami telah berdiskusi dengan pelanggan mengenai pengujian solusi. Saat kami mencoba meluncurkan produk baru ke pasar otomotif, kami berharap dapat mengandalkan pelanggan dan mitra kami untuk mempelajari lebih lanjut tentang harapan dan persyaratan pasar serta mengintegrasikan sensor kami ke dalam armada kendaraan pengumpulan data untuk mengumpulkan lebih banyak data untuk pelatihan dan tujuan validasi.

Konten Terkait:

• Pemrosesan akustik real-time yang berhasil memerlukan perencanaan yang cermat
• Memadukan perangkat keras dan perangkat lunak untuk audio yang lebih baik
• Perangkat berdaya rendah dapat mendengarkan dengan koklea silikon
• Solusi ANC adaptif menghadirkan kemampuan audio yang ditingkatkan

Untuk lebih banyak Tertanam, berlangganan buletin email mingguan Tertanam.