Renesas dan Syntiant menawarkan solusi AI visi yang dikontrol suara bersama
Renesas Electronics Corporation dan Syntiant Corp., penyedia pemrosesan suara dan sensor cerdas berdaya rendah di perangkat edge, telah bersama-sama mengembangkan solusi kecerdasan buatan (AI) multimodal yang dikendalikan suara untuk memungkinkan operasi nirsentuh berdaya rendah untuk pemrosesan gambar dalam visi tertanam Internet of things (IoT) dan sistem edge berbasis AI.
Solusi baru menggabungkan Renesas RZ/V series vision AI microprocessor unit (MPU) dan multimodal daya rendah, prosesor keputusan saraf Syntiant NDP120 untuk menghadirkan kemampuan pemrosesan suara dan gambar yang canggih dalam aplikasi seperti mesin self-checkout, kamera keamanan, video sistem konferensi, dan peralatan pintar seperti perangkat pembersih robot.
Solusi bersama ini memiliki fungsionalitas yang selalu aktif dengan aktivasi yang dipicu suara cepat dari mode siaga untuk melakukan pengenalan objek, pengenalan wajah, dan tugas berbasis penglihatan lainnya yang merupakan fungsi penting dalam kamera keamanan dan sistem lainnya. Misalnya, saat isyarat suara yang ditentukan pengguna mendorong aktivasi dan operasi sistem, pengenalan visi AI melacak perilaku operator dan mengontrol operasi atau mengeluarkan peringatan saat tindakan mencurigakan terdeteksi.
Arsitektur multimodal memudahkan untuk menciptakan pengalaman pengguna tanpa kontak untuk sistem berbasis AI vision. Menggunakan chip khusus yang hemat daya untuk pengenalan suara mengurangi konsumsi daya siaga sekaligus mempercepat pengembangan sistem karena memungkinkan untuk mengembangkan perangkat lunak secara independen dari fungsi AI vision.
Seri MPU Renesas RZ/V menggabungkan akselerator DRP-AI (prosesor AI yang dapat dikonfigurasi ulang secara dinamis) Renesas dan menggabungkan inferensi AI presisi tinggi dengan efisiensi daya yang diklaim Renesas sebagai salah satu yang terbaik di industri. Performa daya yang unggul ini meniadakan kebutuhan akan tindakan dispersi panas seperti heat sink atau kipas pendingin, yang mengurangi biaya bill of material (BOM) dan memungkinkan integrasi vision AI ke dalam berbagai aplikasi tertanam. DRP-AI terdiri dari AI-MAC dan DRP (prosesor yang dapat dikonfigurasi ulang secara dinamis), yang dapat secara efisien memproses operasi dalam lapisan konvolusi dan semua kombinasi dengan mengoptimalkan aliran data dengan sakelar internal. DRP dapat memproses pemrosesan kompleks seperti pra-pemrosesan gambar dan lapisan penyatuan model AI secara fleksibel dan cepat dengan mengubah konfigurasi perangkat keras secara dinamis. Penerjemah DRP-AI yang disediakan secara otomatis mengalokasikan setiap proses model AI ke AI-MAC dan DRP, sehingga memungkinkan pengguna untuk dengan mudah menggunakan DRP-AI tanpa mengetahui perangkat kerasnya. Beberapa keluaran yang dapat dieksekusi oleh penerjemah DRP-AI dapat ditempatkan di memori eksternal. Ini memungkinkan untuk beralih secara dinamis di antara beberapa model AI sebagai suatu sistem. Selain itu, penerjemah DRP-AI dapat terus diperbarui untuk mendukung model AI yang baru dikembangkan tanpa perubahan perangkat keras.
Chip Syntiant NDP120 menggabungkan kemampuan AI canggih yang dapat digunakan untuk mengimplementasikan banyak fungsi suara hands-free presisi tinggi, termasuk pengenalan speaker, deteksi kata kunci, beberapa kata bangun, dan pengenalan perintah lokal. Dikemas dengan mesin inferensi jaringan saraf Syntiant Core 2, NDP120 juga dapat menjalankan beberapa aplikasi secara bersamaan sambil meminimalkan konsumsi daya hingga daya baterai 1mW.
Berbicara untuk Renesas, Hiroto Nitta, mengatakan, “Kami mengantisipasi bahwa permintaan untuk sistem multimodal yang menggunakan banyak aliran informasi input – baik gambar maupun suara – akan meningkat sebagai cara untuk meningkatkan kemudahan penggunaan dan keamanan.” Nitta, wakil presiden senior dan kepala bisnis SoC di unit bisnis infrastruktur dan IoT, menambahkan, “Melalui kolaborasi antara Renesas, pemimpin dalam teknologi AI gambar berdaya rendah, dan Syntiant, pemimpin dalam teknologi AI suara, kami akan mempercepat adopsi teknologi AI suara cerdas ultra-kecil berdaya rendah dalam sistem tertanam dan memberikan solusi gabungan baru kepada pelanggan secara global.”
CEO Syntiant Kurt Busch mengatakan, “Antarmuka pengguna berbasis suara akan memungkinkan pelanggan untuk memberikan pengalaman pengguna baru yang membawa ide-ide inovatif generasi berikutnya dari konsep menjadi kenyataan. Kami telah mengirimkan lebih dari 15 juta NDP pembelajaran mendalam kami secara global untuk mengaktifkan suara yang selalu aktif di berbagai aplikasi IoT konsumen dan industri. Kolaborasi kami dengan Renesas menghadirkan solusi suara dan gambar berdaya rendah yang kuat yang pasti akan mempercepat traksi di antara basis pelanggan global dalam berbagai perangkat dan kasus penggunaan.”
Solusi AI multimodal baru yang dikendalikan suara menggunakan beberapa perangkat yang saling kompatibel dari portofolio Renesas yang lebih luas untuk memberikan pelanggan platform prototyping yang lebih tinggi untuk waktu yang lebih cepat ke pasar dan mengurangi risiko. Solusi baru ini merupakan bagian dari "kombinasi unggulan" Renesas, yang menampilkan kombinasi produk analog, daya, dan pemrosesan tertanam yang menarik yang membantu pelanggan mempercepat desain mereka dan mencapai pasar lebih cepat.
Desain referensi untuk solusi AI multimodal baru tersedia sekarang, termasuk diagram sirkuit dan daftar BOM.
