Meningkatkan Edge AI: Membuka Kinerja dan Efisiensi Daya Tak Tertandingi
Evolusi teknologi adalah cerita yang familiar, dan kecerdasan buatan tidak mengecualinya. Setiap generasi chip AI baru menambahkan lebih banyak MAC, kuantisasi yang lebih dalam, dan fitur tambahan—semua dalam upaya mencapai lebih banyak TOPS/Watt. Namun, seiring meningkatnya keahlian pengguna, permintaan beralih dari kegunaan sederhana ke fleksibilitas algoritma yang tak tertandingi, throughput maksimum, dan konsumsi daya minimum.
Melalui platform CEVA NeuPro, kami telah berhasil memperkenalkan solusi edge-AI di berbagai pasar. Pengguna saat ini ingin lebih dari sekadar peningkatan bertahap; mereka memerlukan perbaikan revolusioner yang memungkinkan mereka untuk melampaui state-of-the-art dengan satu orde magnitud.
Mengukur Dampak Dunia Nyata
Meskipun TOPS/Watt adalah bench mark yang nyaman, ini kurang memadai dalam aplikasi nyata. Untuk inferensi visual, frame per second per watt (FPS/W) jauh lebih bermakna. Dalam keamanan otomotif, misalnya, mesin persepsi harus memproses setidaknya 100 FPS dengan konsumsi daya terendah yang mungkin, karena keterlambatan dapat berarti perbedaan antara berhenti dengan aman dan kecelakaan. Mencapai kinerja seperti ini memerlukan FPS/W yang jauh lebih tinggi dari yang metrik konvensional saran.
Peluang pasar jelas. Otomotif dan telekomunikasi siap mendorong sebagian besar pertumbuhan edge-AI, dengan citra cerdas yang sudah mendominasi otomotif dan tren “banyak kamera” yang mengubah ponsel seluler. Kamera ponsel modern mengganti algoritma generasi lama dengan jaringan syaraf tiruan untuk denoising, stabilisasi, dan super-resolusi, semuanya berjalan pada 60 fps dalam enkol energi yang ketat.
Apa yang Diperlukan oleh Kemajuan Besar
Sementara AI analog dan jaringan syaraf tiruan spiking menawarkan kemungkinan menarik, pembuat produk masih memerlukan solusi yang scalable yang dapat mencapai volume hari ini. Ini meninggalkan kekayaan potensi algoritma: opsi kuantisasi ekstensif, dukungan Winograd, optimisasi sparsity, penanganan tipe data yang beragam di seluruh ukuran bit, pemrosesan vektor paralel, kompresi data, dekomposisi matriks, dan dukungan untuk arsitektur generasi depan seperti transformer dan konvolusi 3D. Kemampuan ini dapat memberikan percepatan hingga 50:1 dibandingkan jaringan referensi.
Panggilan untuk Bertindak
Pengembang AI yang berpengalaman sekarang tahu dengan pasti apa yang mereka butuhkan untuk membangun. Apa yang mereka butuhkan adalah platform yang menyediakan semua komponen dan optimisasi jaringan syaraf tiruan yang mereka percayai, memungkinkan mereka untuk menciptakan solusi optimal untuk produk mereka.
Ini lebih dari sekadar daftar keinginan; ini adalah peta jalan untuk performa terobosan, throughput, dan daya rendah yang diminta oleh edge AI canggih. Produsen tidak lagi dapat puas dengan peningkatan bertahap—mereka mengharapkan platform yang cocok dengan pemahaman mendalam mereka tentang kemungkinan AI.
Untuk mempelajari lebih lanjut tentang kerja CEVA di edge AI, klik di sini.
Roni Sadeh memiliki lebih dari 20 tahun pengalaman dalam desain prosesor dan akselerator, berfokus pada solusi perangkat lunak dan perangkat keras yang terkait AI untuk audio, ucapan, dan computer vision. Dia sedang mengembangkan akselerator AI generasi berikutnya yang scalable hingga ratusan TOPs.
Roni memiliki B.Sc. dalam Teknik Aeronautika dari Universitas Technion.
