Akselerasi AI di Tepi Jaringan: Prosesor Khusus Terdepan untuk 2024

Beban kerja AI dan pembelajaran mesin semakin bergeser ke tepi jaringan, dan berbagai macam prosesor hadir untuk memenuhi kebutuhan beragam dari aplikasi ini. Dari raksasa yang sudah berdiri hingga startup yang cepat beradaptasi, setiap solumen target vertikal, envelop daya, dan titik harga yang spesifik. Berikut adalah ringkasan singkat pemimpin pasar saat ini.

Prosesor Aplikasi

Intel Movidius Myriad X

Dikembangkan awalnya oleh startup Irlandia Movidius dan diakuisisi Intel pada 2016, Myriad X adalah unit pemrosesan visi generasi ketiga yang memperkenalkan mesin komputasi jaringan saraf terpadu. Ia menyediakan 1 TOPS komputasi jaringan saraf dalam (DNN), mendukung presisi FP16 dan INT8, dan terintegrasi erat dengan jaringan memori cerdas untuk menghilangkan hambatan transfer data. Chip ini mengehost 16 inti SHAVE milik Intel dan rangkaian percepat visi yang ditingkatkan. Tersedia dalam Neural Compute Stick 2 milik Intel, platform evaluasi USB plug-and-play yang memungkinkan penerapan cepat beban kerja AI dan visi komputer pada setiap workstation.

NXP Semiconductors i.MX 8M Plus

i.MX 8M Plus adalah prosesor aplikasi heterogen dengan akselerator jaringan saraf terpadu dari VeriSilicon (Vivante VIP8000). Ia menawarkan 2,3 TOPS untuk inferensi, mendukung tugas seperti identifikasi multi-objek, pengenalan ucapan 40.000 kata, atau MobileNet v1 pada 500 gambar/detik. Selain akselerator, chip ini menempatkan subsystem Arm Cortex-A53 quad-core pada 2 GHz dan subsystem real-time Cortex-M7. Dukungan visi mencakup dua prosesor sinyal gambar high-definition untuk kamera stereo atau tunggal 12 MP, sementara DSP HiFi4 pada 800 MHz menangani pra- dan pengolahan ucapan.

i.MX 8M Plus milik NXP adalah prosesor aplikasi pertama perusahaan dengan akselerator jaringan saraf terpadu, disesuaikan untuk skenario IoT. (Gambar: NXP Semiconductors)

XMOS xcore.ai

xcore.ai menggabungkan performa prosesor aplikasi dengan efisiensi real-time tingkat mikrokontroler, menargetkan perangkat AIoT yang dikontrol suara. Dibangun pada arsitektur Xcore milik XMOS, chip ini terdiri dari 16 inti logis yang dapat dialokasikan untuk I/O, DSP, kontrol, atau fungsi AI—secara efektif menciptakan perangkat lunak terdefinisi SoC. Ia mendukung jaringan saraf 32-bit, 16-bit, 8-bit, dan 1-bit (binarized), menyediakan 3.200 MIPS, 51,2 GMACCs, dan 1.600 MFLOPS. Dengan SRAM tertanam 1 MB dan antarmuka DDR rendah daya, chip ini cocok untuk beban kerja pemrosesan suara yang ringkas dan rendah latensi.

xcore.ai milik XMOS adalah platform miliknya yang serbaguna, dirancang untuk beban kerja AI yang berpusat pada suara. (Gambar: XMOS)

SoC Otomotif

Texas Instruments Inc. TDA4VM

Sebagai bagian dari seri Jacinto 7, TDA4VM adalah SoC pertama TI dengan akselerator pembelajaran dalam terintegrasi. Akselerator ini dibangun pada inti DSP C7x dan akselerator perkalian matriks kustom (MMA), mencapai hingga 8 TOPS. Dirancang untuk ADAS, ia dapat mengalirkan stream kamera depan 8 MP atau beberapa kamera 3 MP ditambah radar, LiDAR, dan input ultrasonik—memungkinkan fusasi sensor untuk parkir otonom dan fungsi canggih bantuan pengemudi lainnya. Dengan target anggaran daya 5–20 W, TDA4VM tersedia sebagai development kit pra-produksi.

TDA4VM milik TI menggerakkan sistem ADAS otomotif yang kompleks, menyediakan persepsi dan fusasi sensor pada satu chip. (Gambar: Texas Instruments Inc.)

GPU

Nvidia Corp. Jetson Nano

Jetson Nano milik Nvidia membawa GPU 128-core Maxwell dan CPU Arm Cortex-A57 quad-core ke perangkat tepi jaringan. Kemampuan 0,5 TFLOPS, modul ini dapat menjalankan beberapa jaringan saraf pada aliran gambar resolusi tinggi sambil hanya mengonsumsi 5 W. Ia mengintegrasikan CUDA X, rangkaian pustaka percepatan jaringan saraf milik Nvidia, dan tersedia dalam development kit hemat biaya.

Jetson Nano milik Nvidia menyediakan GPU yang kuat untuk AI di tepi jaringan, dalam bentuk fisik yang kompak dan hemat daya. (Gambar: Nvidia Corp.)

Co-prosesor Konsumen

Kneron Inc. KL520

KL520 adalah prosesor jaringan saraf terpadu yang bertujuan untuk pemrosesan gambar dan pengenalan wajah untuk smart home, sistem keamanan, dan perangkat seluler. Dioptimalkan untuk jaringan saraf konvolusional, ia menyediakan 0,3 TOPS pada 0,5 W (≈0,6 TOPS/W) dengan efisiensi MAC di atas 90 %. Arsitektur yang dapat dikonfigurasi ulang dan kompiler yang menerapkan kompresi memungkinkan model yang lebih besar muat dalam sumber daya chip, mengurangi daya dan biaya. KL520 tersedia dalam kartu akselerator AAEON M2AI-2280-520.

KL520 milik Kneron menggabungkan desain yang dapat dikonfigurasi ulang dengan teknik kompresi untuk pemrosesan gambar seluler yang efisien. (Gambar: Kneron Inc.)

Gyrfalcon Lightspeeur 5801

Ditargetkan untuk elektronik konsumen, Lightspeeur 5801 mencapai 2,8 TOPS pada 224 mW (≈12,6 TOPS/W) dengan latensi 4 ms, berkat arsitektur processor-in-memory yang menawarkan efisiensi daya yang luar biasa. Memori on-chip 10 MB-nya mengakomodasi model lengkap, dan kecepatan jam dapat disesuaikan antara 50 MHz dan 200 MHz untuk bertukar daya terhadap performa. 5801 menggerakkan smartphone menengah LG Q70, menangani inferensi untuk efek kamera, dan tersedia sebagai development kit USB thumb-drive.

Ultra-Rendah Daya

Eta Compute ECM3532

ECM3532 disesuaikan untuk perangkat IoT yang dipasok baterai atau penambahan energi yang memerlukan inferensi selalu aktif. Ia memadukan mikrokontroler Arm Cortex-M3 dengan DSP NXP CoolFlux, dan menggunakan teknik penskalaan tegangan/frekuensi miliknya yang mengoptimalkan daya pada basis setiap siklus jam. Beban kerja pembelajaran mesin—terutama tugas suara—dapat dijalankan pada salah satu inti. Sampel tersedia sekarang, dengan produksi massal dijadwalkan pada Q2 2020.

Syntiant Corp. NDP100

NDP100 adalah silikon processor-in-memory yang dirancang untuk inferensi perintah suara di bawah anggaran daya yang ketat. Mengonsumsi kurang dari 140 µW daya aktif, ia mendukung deteksi kata kunci, deteksi kata sandi, pengenalan penutur, dan klasifikasi peristiwa. Ia ditujukan untuk perangkat konsumen bebas tangan seperti earbud, alat bantu dengar, smartwatch, dan pengendali jarak jauh, dengan development kit yang tersedia.

NDP100 milik Syntiant menyediakan pemrosesan suara ultra-rendah daya untuk IoT konsumen. (Gambar: Syntiant Corp.)

GreenWaves Technologies GAP9

GAP9 adalah prosesor aplikasi ultra-rendah daya yang menampilkan sembilan inti RISC-V dengan himpunan instruksi kustom yang disesuaikan untuk efisiensi daya. Ia mencakup antarmuka audio multi-saluran dua arah dan RAM internal 1,6 MB. GAP9 dapat menjalankan MobileNet V1 pada gambar 160 × 160 dalam 12 ms sambil hanya menarik 806 µW per frame, menjadikannya ideal untuk aplikasi penginderaan gambar, audio, dan getiran yang dipasok baterai.