Renesas & Syntiant Meluncurkan Visensi AI Terkontrol Suara Rendah Daya untuk Sistem IoT Terpadu
Renesas Electronics Corporation dan Syntiant Corp. telah bekerjasama untuk menciptakan platform AI multimodal terkontrol suara rendah daya yang menyediakan pemrosesan citra tanpa kontak untuk aplikasi IoT dan edge visensi-AI terpadu.
Integrasi mikroprosesor unit visensi-AI (MPU) seri RZ/V Renesas dengan prosesor keputusan neural NDP120 ultra-rendah daya Syntiant menyediakan pemrosesan suara dan citra canggih untuk kasenya yang berkisar dari kiosk self-checkout dan kamera keamanan hingga sistem konferensi video dan peralatan rumah tangga cerdas seperti robosapu.
Solusi bersama ini memiliki mode selalu aktif yang memungkinkan wake-up cepat yang dipicu suara dari standby, memungkinkan pengenalan objek dan wajah, serta tugas visi lainnya yang esensial untuk kamera keamanan dan sistem serupa. Petunjuk suara yang ditentukan pengguna memulai aktivasi dan operasi, sementara visensi AI melacak perilaku operator dan dapat memperingatkan operator saat aktivitas mencurigakan terdeteksi.
Dengan memisahkan pengenalan suara pada chip terpadu yang efisien daya, arsitektur ini mengurangi konsumsi daya standby dan mempercepat pengembangan. Pengembang dapat memprogram komponen suara dan visi secara independen, menyederhanakan integrasi.
MPU seri RZ/V Renesas mengintegrasikan akselerator DRP-AI (dynamically reconfigurable processor-AI), menggabungkan inferensi presisi tinggi dengan efisiensi daya yang menurut klaim Renesas adalah yang terbaik di industri. Performa ini menghilangkan kebutuhan akan pendingin atau kipas pendingin, menurunkan biaya BOM dan memungkinkan integrasi visensi-AI di seluruh berbagai aplikasi terpadu. DRP-AI dibangun dari inti AI-MAC dan DRP, yang secara efisien menangani lapisan konvolusional dan terhubung penuh dengan mengoptimalkan aliran data dengan interswitch internal. DRP dapat secara dinamis mengonfigurasi ulang untuk memproses tugas kompleks seperti pra-pemrosesan citra dan lapisan pooling model AI dengan cepat. Penerjemah DRP-AI secara otomatis memetakan operasi model AI ke hardware yang sesuai, memungkinkan pengembang menggunakan DRP-AI tanpa pengetahuan hardware detail. Beberapa eksekutif dapat tinggal di memori eksternal, memungkinkan perpindahan dinamis antara model AI saat runtime, dan penerjemah dapat diperbarui untuk mendukung model baru tanpa perubahan hardware.
Chip NDP120 Syntiant mengintegrasikan kemampuan AI yang canggih yang mendukung fungsi suara bebas tangan presisi tinggi, termasuk pengenalan pembicara, deteksi kata kunci, beberapa kata wake, dan pengenalan perintah lokal. Dipadukan dengan mesin inferensi jaringan saraf Syntiant Core 2, NDP120 dapat menjalankan beberapa aplikasi secara bersamaan sambil mengkonsumsi daya baterai sekecil 1 mW.
Bicara untuk Renesas, Hiroto Nitta, Senior Vice President dan Kepala Bisnis SoC di unit IoT dan Infrastruktur, mengatakan, “Kami mengantisipasi bahwa permintaan akan sistem multimodal yang menggunakan beberapa aliran informasi input—baik citra maupun suara—akan meningkat di masa depan sebagai cara untuk meningkatkan kemudahan penggunaan dan keselamatan.” Ia menambahkan, “Melalui kolaborasi antara Renesas, pemimpin dalam teknologi citra AI rendah daya, dan Syntiant, pemimpin dalam teknologi suara AI, kami akan mempercepat adopsi teknologi suara AI ultra-kecil rendah daya dalam sistem terpadu dan menyediakan solusi gabungan baru bagi pelanggan di seluruh dunia.”
CEO Syntiant Kurt Busch mencatat, “Antarmuka pengguna berbasis suara akan memungkinkan pelanggan untuk memberikan pengalaman pengguna baru yang membawa ide inovatif generasi berikutnya dari konsep menjadi kenyataan. Kami telah mengirim lebih dari 15 juta NDP deep learning kami secara global untuk mengaktifkan suara selalu aktif dalam berbagai aplikasi IoT konsumen dan industri. Kolaborasi kami dengan Renesas menyediakan solusi suara dan citra yang canggih dan rendah daya yang pasti akan mempercepat traksi di kalangan basis pelanggan global dalam berbagai perangkat dan kasus penggunaan.”
Solusi AI multimodal terkontrol suara baru ini didasarkan pada beberapa perangkat kompatibel dari portofolio lebih luas Renesas, memberikan pelanggan platform prototipan yang ditingkatkan untuk waktu masuk pasar yang lebih cepat dan risiko yang lebih rendah. Sebagai bagian dari “winning combinations” Renesas, yang memadukan produk analog, daya, dan pemrosesan terpadu yang menarik, solusi ini membantu pelanggan mempercepat desain dan meluncurkan produk baru lebih cepat.
Desain referensi untuk solusi AI multimodal, termasuk diagram rangkaian dan daftar BOM, sekarang tersedia.
