Bergeser ke AI Edge Tingkat Baru

Fase evolusi teknologi adalah tempat yang akrab, dan AI, teknologi utama dalam beberapa tahun terakhir, tidak berbeda. Di AI -- generasi baru menambahkan lebih banyak MAC, beberapa lapisan kuantisasi, fitur ini, fitur itu -- semuanya untuk mengejar TOPS/Watt yang ditingkatkan.

Kami telah berhasil memperkenalkan solusi AI-at-the-edge ke berbagai pasar melalui platform CEVA NeuPro kami dalam lingkungan ini. Sekarang, pengguna menginginkan lebih, tetapi terkadang evolusi saja tidak cukup.

Pada awalnya, pengguna menekankan pada kemudahan penggunaan untuk membantu mereka memperkenalkan teknologi AI terbaru ini. Namun seiring dengan semakin mendalam keahlian mereka dalam teknik AI tingkat lanjut, mereka menginginkan akses ke semua cara yang memungkinkan untuk membangun diferensiasi ke dalam produk mereka, dan melampaui pendekatan mutakhir saat ini dengan urutan besarnya. Sampai di sana dengan cepat tidak mungkin melalui evolusi; perbaikan revolusioner diperlukan. Apa yang mereka inginkan telah beralih dari kemudahan penggunaan ke fleksibilitas algoritmik maksimal pada throughput maksimum dan daya minimal.

Mengukur

TOPS/W adalah nomor pemasaran yang bagus tetapi terlalu kasar untuk berguna dalam aplikasi nyata. Dalam inferensi visual misalnya, frame per detik per watt (FPS/W) adalah metrik yang jauh lebih bermakna. Nilai skor yang baik dalam konteks ini mudah dipahami. Mendeteksi pejalan kaki atau mobil di depan atau mobil yang lewat dari belakang membutuhkan respons cepat. Ada sedikit waktu untuk mengerem atau menjauh dan tidak ada tindakan yang instan. Mesin inferensi harus mampu mengelola minimal 100 FPS – dengan daya serendah mungkin karena ini hanyalah salah satu dari banyak sistem sensor/AI di sekitar mobil. Itu menuntut fps/W yang jauh lebih tinggi untuk daya yang kompetitif.

Peluang pasar tidak perlu diragukan lagi. Aplikasi otomotif dan telekomunikasi diharapkan menjadi kontributor terbesar untuk pertumbuhan ini, dan di bidang otomotif, pencitraan cerdas terus menjadi kuat. Kebetulan, begitu pula tren “banyak kamera” di ponsel. Faktanya, jalur pencitraan di kamera semacam itu telah mulai menggantikan algoritme konvensional dengan jaring saraf untuk menghilangkan noise, stabilisasi gambar, resolusi super, dan fungsi baru lainnya, semuanya berjalan pada 60fps dalam amplop energi yang sangat terbatas.

Apa yang Dibutuhkan Kemajuan Besar

Ada beberapa hal menarik yang terjadi di sekitar AI analog dan jaring saraf spiking, tetapi pembuat produk tidak ingin melompat terlalu jauh dari apa yang mereka yakini dapat ditingkatkan ke volume hari ini. Batasan itu masih menyisakan banyak potensi algoritme, tetapi sekarang pembuat produk menginginkan akses ke semua algoritme tersebut dengan lebih banyak fleksibilitas untuk memeras kinerja maksimum dengan daya minimum.

Daftar kemungkinan pengoptimalan panjang:berbagai opsi kuantisasi, dukungan winograd, pengoptimalan sparsity untuk melewati perkalian dengan nol, keragaman tipe data dalam aktivasi dan bobot di berbagai ukuran bit, kemampuan pemrosesan vektor secara paralel dengan perkalian saraf, kompresi data untuk mengurangi waktu pemuatan untuk bobot dan aktivasi, dukungan dekomposisi matriks, menghadirkan akselerasi hingga 50:1 melalui jaringan referensi, dan arsitektur NN generasi berikutnya, seperti transformator dan dukungan konvolusi 3D.

Ajakan Bertindak

Pembuat produk, sekarang dengan lebih banyak pengalaman dalam AI, tahu apa yang ingin mereka bangun dan bagaimana membangunnya. Yang mereka butuhkan adalah platform yang menawarkan semua algoritme komponen jaringan saraf yang sudah mereka pahami, untuk membangun solusi optimal bagi produk mereka.

Ini adalah daftar impian dari algoritme dan pengoptimalan untuk menghadirkan kapabilitas terobosan nyata, throughput, dan daya rendah yang dibutuhkan AI canggih. Tapi kenapa hanya mimpi? Pembuat produk tingkat lanjut tidak lagi puas dengan peningkatan bertahap dalam AI. Mereka sekarang mengharapkan platform yang selaras dengan pemahaman mereka yang jauh lebih baik tentang kemungkinan.

Untuk mempelajari lebih lanjut tentang pekerjaan CEVA di edge AI, klik DI SINI.