Prosesor penglihatan AI memungkinkan video 8K pada 30fps di bawah 2W
Menggunakan CES 2021 sebagai platform peluncuran, Ambarella telah mengumumkan generasi kelima sistem prosesor visi kecerdasan buatan (AI) pada chip (SoC) yang katanya menetapkan standar baru untuk efisiensi daya. Prosesor CV5 AI vision CVflow yang dibuat dalam proses 5nm Samsung yang canggih memungkinkan penyandian video 8K penuh pada 30 frame per detik di bawah 2 Watt, yang penting untuk sistem kamera cerdas di kamera otomotif, konsumen (termasuk drone), dan robot.
CV5 baru menggabungkan mesin CVflow AI Ambarella dengan CPU Arm A76 ganda untuk memberikan kinerja yang diperlukan untuk berbagai algoritme berbasis AI. Mengaktifkan input dari hingga 14 kamera, prosesor sinyal gambar (ISP) dapat memproses gambar secara bersamaan untuk dilihat manusia dan pemrosesan mesin. Dalam briefing dengan embedded.com, Chris Day, wakil presiden pemasaran dan pengembangan bisnis di Ambarella, mengatakan, “Ini adalah prosesor gambar generasi kelima kami, dengan pemrosesan terpisah untuk video dan AI. Ini adalah chip 5nm pertama, memungkinkan konsumsi daya rendah yang sangat penting untuk banyak aplikasi, dan terutama di kamera olahraga.”
Dia menambahkan, “Kami bekerja sama dengan pabrikan Samsung dan memiliki salah satu tim desain VLSI terbaik di industri. Ini berarti kami memiliki akses awal yang baik ke perpustakaan proses sebagai hasil dari hubungan kerja yang erat dengan Samsung.”
Dalam aplikasi telematika video otomotif, CV5 memberikan kinerja yang diperlukan untuk mengkodekan beberapa aliran video dari sistem bantuan pengemudi canggih depan (ADAS), pemantauan pengemudi, pemantauan kabin, dan kamera pandangan samping. Mesin CVflow AI-nya dapat secara bersamaan menjalankan algoritme ADAS seperti keberangkatan lajur, dan peringatan tabrakan ke depan serta algoritme pemantauan pengemudi seperti deteksi pengemudi mengantuk. Kombinasi pengambilan video resolusi tinggi dengan pemrosesan AI canggih memungkinkan kamera ADAS mengenali gambar dari jarak jauh dan dengan akurasi tinggi.
Day mengatakan bahwa minat awal adalah di pasar otomotif, karena segmen ini menyumbang sekitar 20% dari bisnis Ambarella.
Konsumsi daya yang rendah dari SoC CV5 juga membuatnya cocok untuk kamera resolusi tinggi generasi berikutnya dan kecepatan bingkai tinggi, 360°, dan realitas virtual (VR), menawarkan perekaman dan pemutaran 8K dalam desain faktor bentuk yang sangat kecil. Secara khusus, ia juga memiliki fitur seperti stabilisasi gambar dalam chip dan penggabungan yang cocok untuk kamera VR.
Dalam aplikasi robotik dan drone, mesin CVflow AI CV5 dapat mempercepat lokalisasi dan pemetaan simultan (SLAM), perencanaan jalur, dan deteksi rintangan, serta algoritme penghindaran untuk navigasi dan operasi otonom. Untuk videografi udara dan sinematografi berbasis drone, CV5 dapat secara bersamaan menjalankan fungsi kontrol penerbangan dan navigasi sambil merekam perekaman video resolusi hingga 8K pada 60 frame per detik.
Day berkomentar bahwa ada dua area di pasar drone yang sangat baik untuk CV5:satu dalam meningkatkan videografi, tetapi yang lain menambahkan visi komputer dan AI untuk hal-hal seperti deteksi objek.
Di semua aplikasi yang berbeda, Day mengatakan manfaat utama CV5 adalah kemampuan untuk menambahkan rekaman 8K di semua pasar. Dia juga mengatakan bahwa ini adalah pertama kalinya perusahaan memasukkan antarmuka PCIe pada chip, membuka opsi konektivitas. Sementara fokus awalnya adalah pada otomotif, kamera olahraga, drone, dan kamera VR, ia berharap memiliki versi CV5 untuk keamanan dan pengawasan akhir tahun ini
SoC baru ini berbagi alat SDK dan visi komputer (CV) yang sama dengan keluarga SoC CVflow Ambarella lainnya, menyederhanakan pengembangan kamera dengan berbagai pilihan harga dan kinerja. Satu set lengkap alat CV membantu pelanggan mem-porting jaringan saraf mereka sendiri ke CV5, termasuk kompiler, debugger, dan dukungan untuk kerangka kerja pembelajaran mesin standar industri, seperti PyTorch, ONNX, Caffe dan TensorFlow, serta panduan ekstensif untuk saraf convolutional pengoptimalan kinerja jaringan (CNN).
Fitur utama SoC CV5 meliputi:
Arsitektur CVflow dengan dukungan DNN
Dual-core Arm Cortex-A76 hingga 1,6 GHz dengan ekstensi NEON DSP dan FPU
Dukungan asli untuk RGGB, RCCB, RCCC, RGB-IR, dan format sensor monokrom
Pemrosesan rentang dinamis tinggi (HDR) multi-eksposur
Pengerasan mata ikan dan koreksi distorsi lensa (LDC) dengan akselerasi perangkat keras secara real-time
Encoding AVC dan HEVC dengan throughput hingga 8KP60 dan dukungan beberapa aliran
Seperangkat antarmuka yang kaya mencakup PCIe 4-jalur, CAN FD, Gigabit Ethernet, host dan perangkat USB 3.1, tiga pengontrol kartu SD, MIPI DSI/CSI-2, dan output video HDMI
Dukungan LPDDR4x / LPDDR5 / LPDDR5x, bus data 64-bit, dan kapasitas hingga 32 GB
Fitur keamanan termasuk boot aman dengan TrustZone dan memori aman, TRNG, OTP, pengacakan DRAM, dan virtualisasi
