SoC yang mendukung AI menangani beberapa aliran video

Ambarella meluncurkan dua perangkat untuk visi komputer dan pemrosesan AI dari beberapa atau masukan tunggal dalam kamera keamanan dan sistem kota pintar.

Spesialis pemrosesan gambar Ambarella telah meluncurkan dua SoC baru untuk kamera keamanan sensor tunggal dan ganda, masing-masing dengan kemampuan AI baru yang diaktifkan oleh mesin akselerator AI CVflow perusahaan. Keduanya mendukung encoding video 4K dan pemrosesan AI tingkat lanjut seperti pengenalan wajah atau pengenalan plat nomor.

SoC CV5S menargetkan sistem kamera multi-sensor, mengkodekan empat saluran imager hingga resolusi 8MP/4K, masing-masing pada 30 frame per detik (fps) sambil menjalankan AI tingkat lanjut pada setiap aliran gambar 4K. Dapat menangani hingga 14 input. Keluarga SoC menggandakan resolusi encoding dan bandwidth memori dari produk generasi Ambarella sebelumnya sambil mengonsumsi daya 30 persen lebih sedikit. Ini menghabiskan <5W ​​dan menyediakan 12 eTOPS (TOPS setara GPU, ukuran Ambarella tentang jumlah tenaga kuda GPU yang diperlukan untuk menjalankan tugas pemrosesan AI yang sama).

SoC baru lainnya, CV52S, menargetkan kamera sensor tunggal dan mendukung resolusi 4K pada 60 fps. Dibandingkan dengan generasi sebelumnya dari Ambarella SoCs, perangkat baru ini melipatgandakan kinerja AI, menggandakan throughput CPU, dan menawarkan bandwidth memori 50 persen lebih banyak. Mengkonsumsi <3 W dan menyediakan 6 eTOPS.

Peningkatan kinerja berasal dari migrasi ke node proses 5 nm bersama dengan peningkatan–dan perluasan–blok akselerator AI CVflow internal Ambarella.

“Anda melihat semua startup ini datang dari mana-mana, mengatakan bahwa mereka memiliki kinerja AI terbaik per watt, dan mereka mungkin benar,” kata Jerome Gigot, direktur senior pemasaran Ambarella. “Tapi itu tidak membuat kamera, itu tidak membuat produk. Jika Anda hanya memiliki akselerator AI, Anda hanya memiliki akselerator AI.”

Gigot mencatat bahwa saluran pencitraan untuk video 4K atau 8K rumit, menangani sejumlah besar data, mengkodekan volume data besar, mentransfer data tersebut ke blok khusus untuk pemrosesan AI sambil mungkin menjalankan tumpukan Linux di atasnya. Hal itu sulit dicapai dengan anggaran daya rendah sambil mempertahankan kualitas video.

CV52S menargetkan desain sensor tunggal seperti yang ditemukan dalam pemantauan lalu lintas dan aplikasi kota pintar lainnya (Sumber:Ambarella)

Di samping akselerator AI CVflow, kedua SoC baru tersebut menyertakan image signal processor (ISP) Ambarella yang menangani fitur-fitur seperti pemrosesan warna, eksposur otomatis, keseimbangan putih otomatis, dan pemfilteran derau.

“Blok ini sudah kami kembangkan selama 16 tahun,” kata Gigot. “Itulah mengapa kami pikir startup masih memiliki jalan panjang. Mereka dapat melisensikan [blok ISP dari tempat lain] tetapi kemudian tidak benar-benar terintegrasi dengan sistem lainnya dalam hal akses memori dan yang lainnya.”

Sistem memori adalah salah satu bagian penting dari IP perusahaan.

“Kami memiliki satu pengontrol memori, dan kami mengatur semuanya sehingga ketika kami mendapatkan data dalam chip. Kami berusaha untuk tidak membuat salinan apa pun, ”kata Gigot. “Kami memindahkan pointer, kami tidak memindahkan data. Itu hanya mungkin jika Anda mendesain keseluruhan arsitektur dari awal, tahu persis apa yang akan dilakukan chip tersebut.”

Mesin akselerator

Akselerator AI adalah prosesor vektor yang dapat mempercepat konvolusi dan fungsi AI umum lainnya, atau digunakan untuk beban kerja visi komputer klasik. Pengguna juga dapat memilih untuk menjalankan bagian dari jaringan saraf (seperti algoritme pengurutan dalam jaringan detektor tembakan tunggal) atau melalui CPU Arm Cortex-A76 inti ganda dalam chip.

Tumpukan perangkat lunak memungkinkan aplikasi untuk mengambil keuntungan dari koefisien sparsity, sebuah teknik dimana koefisien jaringan dengan nilai yang mendekati nol dibulatkan ke bawah menjadi nol. Pendekatan ini dapat "memangkas" seluruh "cabang" perhitungan dari algoritme untuk sangat mengurangi kebutuhan komputasi.

Sparsifikasi “adalah teknik yang sangat efektif bagi kami karena ketika ada koefisien nol, dalam arsitektur kami, kami tidak melakukan operasi, kami memiliki [fungsi] yang dilewati,” katanya. “Jadi kita tidak menghitung hasil untuk koefisien itu. Kami membutuhkan cukup banyak siklus nol.”

Proses tersebut biasanya mengidentifikasi 50 hingga 80 persen dari koefisien sebagai target untuk sparsifikasi, kata Gigot. Beberapa pelatihan ulang kecil biasanya diperlukan setelah sparsifikasi untuk mendapatkan kembali akurasi prediksi yang hilang selama proses. Menurut Gigot, pelatihan ulang biasanya dapat membawa akurasi ke dalam 1 persen dari model asli – tradeoff yang dapat diterima untuk sebagian besar pelanggan, terutama diberikan pengurangan ukuran model hingga 5 kali lipat. Ambarella juga sedang mengerjakan alat sparsifikasi dan kuantisasi yang lebih sadar arsitektur.

klik untuk gambar ukuran penuh

SoC CV5S untuk sistem kamera multi-sensor mencakup generasi terbaru CVflow AI dan akselerator visi komputer Ambarella (Sumber:Ambarella)

Dengan kemampuan menerima hingga 14 streaming video, lalu menjalankan AI pada streaming tersebut secara bersamaan, apakah pelanggan akan menjalankan beberapa jaringan saraf secara bersamaan? Akankah semacam skema multiplexing diperlukan?

Ya untuk keduanya, jawab Gigot. “CVflow adalah mesin vektor yang sangat cepat, mesin konvolusi yang sangat cepat. Semuanya time-multiplexed. Kami memiliki jalur yang berbeda dalam perangkat keras sehingga kami dapat memparalelkan operasi, tetapi kami tidak mengikatnya ke jaringan tertentu [yang] sama sekali berbeda dengan pemrosesan batch pada GPU.”

Pemrosesan batch, teknik yang sering digunakan oleh GPU besar, mengelompokkan gambar dan mengirimkannya untuk diproses secara paralel. GPU memiliki parameter lain yang sudah dimuat. Pendekatan tersebut mengurangi biaya komputasi dengan tidak harus beralih antar operasi.

Untuk mesin yang lebih kecil seperti CVflow, jaringan saraf yang lebih besar harus dipecah menjadi beberapa bagian untuk diproses karena memori chip tidak dapat menyimpan semua parameter sekaligus. Potongan berurutan mungkin berasal dari jaringan saraf yang sama, atau jaringan lain, atau input saluran lain. Utilisasi perangkat keras pada CVflow biasanya antara 70 dan 80 persen, kata Gigot, seraya menambahkan bahwa berpindah jaringan/saluran tidak memengaruhi efisiensi.

CV5S dan CV52S diharapkan mulai mengambil sampel pada Oktober 2021.

>> Artikel ini awalnya diterbitkan di situs saudara kami, EE Waktu.

Konten Terkait:

• Prosesor penglihatan AI memungkinkan video 8K pada 30fps di bawah 2W
• Ambarella menargetkan penginderaan tepi cerdas dengan SoC kamera baru
• FPGA menggantikan ASIC di ADAS berbasis penglihatan Subaru Eyesight
• Arm menambahkan CPU, GPU, dan ISP untuk keamanan penglihatan dan otonom
• Papan visi AI berdaya rendah bertahan 'tahun' dengan satu baterai

Untuk lebih banyak Tertanam, berlangganan buletin email mingguan Tersemat.