Arm Perkenalkan Cortex-M55 & Ethos-U55: Inti IP Baru yang Memberdayakan TinyML di Titik Akhir Hemat Daya

Arm hari ini meluncurkan dua inti IP canggih yang membawa kemampuan machine learning lanjutan ke titik akhir dengan sumber terbatas, termasuk perangkat IoT dan hemat daya. Mikrokontroler Cortex-M55 adalah yang pertama mengintegrasikan mesin pemrosesan vektor Helium Arm, sementara Ethos-U55 adalah versi kompak dari NPU flagship Ethos Arm. Meskipun dirancang untuk penerapan bersama, setiap inti dapat beroperasi secara independen.

Menerapkan AI pada mikrokontroler—umumnya disebut TinyML—telah menjadi semakin kritis seiring jaringan 5G yang mendorong kecerdasan di edge. Para ahli memperkirakan pasar TinyML akan meluas untuk mencakup miliaran sistem konsumen dan industri, memberikan wawasan real-time tanpa ketergantungan pada cloud.

"Jika kita melihat lima tahun ke depan, kita mungkin semua setuju bahwa waktu ini menandai perubahan paradigma yang sebenarnya dalam komputasi," kata Thomas Ensergueix, senior director untuk IoT dan Embedded, Arm. "Kami telah melihat dalam beberapa tahun bagaimana AI telah merevolusi cara analisis data berjalan di cloud, sebagian besar dari kita memiliki smartphone yang diperkaya AI di saku kita, dan sekarang ini adalah langkah berikutnya, bersiap untuk AI di mana saja."

Perangkat rumah pintar seperti smart speaker semakin akan dapat melakukan inferensi machine learning sendiri (Gambar: Sebastian Scholz/Unsplash)

Pengenalan suara, visi komputer, dan beban kerja ML lainnya beralih dari cloud ke mikrokontroler itu sendiri. Inti baru Arm menargetkan ekosistem solusi mikrokontroler yang tumbuh yang memprioritaskan inferensi di perangkat.

"Kami tahu semua data ini di tingkat titik akhir tidak dapat kembali ke cloud," kata Ensergueix. "Kamera video di rumah atau kota cerdas menciptakan data gigabyte sehari dan infrastruktur tidak dibangun untuk aliran data upstream ini. Kami yakin bahwa apa yang kita butuhkan untuk menskalakan ke miliaran atau triliunan titik akhir IoT, kita akan memerlukan kemampuan inferensi AI secara langsung di titik akhir IoT. Dan itu perlu aman."

Cortex-M55 dibangun pada keluarga Cortex-M yang terpercaya, menawarkan performa AI tertinggi hingga saat ini. Memanfaatkan arsitektur Armv8.1-M, ia mendukung instruksi kustom yang memungkinkan pengembang untuk menyesuaikan inti untuk beban kerja tertentu, mencetak efisiensi maksimum.

Teknologi pemrosesan vektor Helium memberikan 5× lebih cepat DSP dan 15× lebih cepat ML dibandingkan dengan generasi Cortex-M sebelumnya.

Instruksi kustom untuk operasi INT8, termasuk dot product, mempercepat inferensi jaringan saraf.

"Suatu aplikasi AIoT yang sukses bergantung tidak hanya pada performa komputasi yang baik tetapi juga pada kemampuan untuk mendapatkan data yang tepat, koefisien yang tepat, dan bobot machine learning yang tepat pada waktu yang tepat, jadi antarmuka memori prosesor telah dioptimalkan untuk menangani semua data masuk dan keluar. Ini jauh lebih mampu daripada inti Cortex-M lainnya pada aspek ini," kata Ensergueix.

Kombinasi Cortex-M55 dan Ethos-U55 memiliki cukup daya pemrosesan untuk aplikasi seperti pengenalan gerakan, biometrika, dan pengenalan ucapan (Gambar: Arm)

Ethos-U55 adalah 'micro-NPU' pertama Arm, memberikan hingga 0,5 TOPS akselerasi pada 1 GHz. Konfigurable dari 32 hingga 256 MACs, ia menampilkan pemuat bobot on-chip dan DMA dekompresi bobot real-time, mengurangi jejak memori.

Dibandingkan dengan saudara yang lebih besar—Ethos-N77 (4 TOPS), N57 (2 TOPS) dan N37 (1 TOPS)—U55 menawarkan solusi hemat daya dan padat yang dapat diskala dengan menumpuk beberapa inti.

Cortex-M55 dan Ethos-U55 dirancang untuk digunakan bersama, tetapi dapat digunakan secara terpisah juga (Gambar: Arm)

Dua inti baru, M55 dan U55, dirancang untuk bekerja bersama-sama, memberikan hingga 480× percepatan dibandingkan dengan perangkat Cortex-M sebelumnya sendiri. Untuk beban kerja asisten suara tipikal, Arm melaporkan percepatan 50× dan peningkatan efisiensi daya 25× dibandingkan dengan Cortex-M7.

"Cortex-M menjalankan kode sistem aplikasi dan kemudian, ketika beban kerja jaringan saraf diperlukan, aliran perintah ditempatkan di SRAM, gangguan diterbitkan ke U55, dan ia mengambil alih. U55 berjalan hingga selesai, mengembalikan hasil ke SRAM, dan kemudian Cortex-M kembali mengambil kontrol. Dalam skenario streaming, U55 dapat memproses data audio atau video kontinu," menjelaskan Steve Roddy, vice president kelompok machine learning di Arm.

Silikon berdasarkan inti baru ini seharusnya tiba di pasar pada awal tahun 2021.