Chip Hybrid Data-Flow & Von Neumann Quadric Mecutkan Beban Kerja AI dan Visi
Arsitektur hybrida baru data-flow dan Von Neumann dapat mempercepat beban kerja termasuk jaringan saraf, machine learning, visi komputer, DSP, dan subprogram aljabar linear dasar.
Quadric, startup di Silicon Valley, telah merancang akselerator yang meningkatkan inferensi AI dan algoritma visi komputer tradisional pada perangkat edge seperti robot, otomasi pabrik, dan citra medis. Desain hybrida unik hardware ini menyatukan prinsip data-flow dan Von Neumann, memungkinkan eksekusi yang efisien dari jaringan saraf, machine learning, DSP, dan rutinitas aljabar linear.
“Dari awal, kami menyadari bahwa perangkat edge membutuhkan lebih dari sekadar AI,” kata CEO Veerbhan Kheterpal kepada EE Times. “Pengembang membutuhkan satu sistem yang dapat menjalankan algoritma komputasi high-performance klasik bersama dengan AI.”
Kheterpal menekankan bahwa arsitektur bukanlah koleksi akselerator diskrit tetapi satu set instruksi data-parallel tunggal yang dapat mempercepat beban kerja yang beragam, termasuk inferensi AI.
“Karya terbaru menunjukkan bahwa mengganti seluruh lapisan dengan fast Fourier transform (FFT) dapat secara dramatis mempercepat transformer,” kata Chief Product Officer Daniel Firu. Quadric siap mempercepat beban kerja tersebut, mengutip paper Google di mana sub-lapisan self-attention encoder transformer diganti dengan FFT, mencapai akurasi 92 % pada benchmark BERT dan pelatihan hingga tujuh kali lebih cepat pada GPU atau dua kali lebih cepat pada TPU.
Kit pengembang Quadric, kartu M.2 dengan prosesor Q16 dan 4 GB memori eksternal (Sumber: Quadric)
Robot Anggur
Pendiri—Veerbhan Kheterpal, Daniel Firu dan Nigel Drego—sebelumnya mendirikan 21, perusahaan penambang bitcoin yang diakuisisi oleh Coinbase. Fokus awal Quadric adalah pada robot pertanian yang melintasi perkebunan anggur Napa Valley, mendeteksi kebocoran irigasi dan hama. Namun, biaya tinggi solusi berbasis drone mendorong tim untuk mengeksplorasi akselerator custom.
Veerbhan Kheterpal (Sumber: Quadric)
“Kami menyadari bahwa sistem berbasis drone akan berbiaya $5–10 k, tetapi platform berbasis traktor akan melebihi $50 k dengan GPU besar dan banyak kamera. Wawasan ini memandu kami untuk merancang chip akselerator yang kami butuhkan,” jelas Kheterpal.
Setelah putaran seed pada 2017 dan Series A sebesar $13 M yang dipimpin oleh Denso, pemasok otomotif Tier-One, Quadric telah mengumpulkan $18 M hingga saat ini.
Desain Turing-Complete
Arsitektur driven instruksi Quadric menggabungkan konsep data-flow dan Von Neumann untuk mengganti sistem edge heterogen dengan satu solusi fleksibel. Inti Vortex yang Turing-complete menyediakan akselerasi sambil mempertahankan kemampuan pemrograman. Array yang dapat diskalakan dan kompatibilitas dengan proses 7- atau 5-nm membuat desain ini sesuai untuk perangkat edge dengan anggaran daya dari ratusan miliwatt hingga 20 W.
Chip Q16 menyelenggarakan array 16 × 16 inti Vortex. Setiap inti dapat melakukan perkalian matriks dan operasi AI, dan mencakup ALU multifungsi untuk logika, reduksi, shift, dan lainnya. Software mengekspos spektrum algoritma yang luas—dari fungsi aktivasi LSTM hingga kontrol alur kustom—menggunakan pernyataan if-then-else di seluruh array untuk mengeksploitasi sparsity yang halus.
Setiap inti menikmati akses satu siklus ke tetangganya dan memori in-core 4 Kb, sementara memori on-chip menyediakan akses data dengan latensi rendah dan deterministik.
Inti dieksekusi dalam mode “single instruction, multiple decode”: instruksi yang sama disiarkan setiap siklus, tetapi data runtime dinamis memungkinkan inti individual untuk menafsirkannya secara berbeda, memungkinkan fungsi heterogen dalam array homogen.
Bus siaran khusus secara efisien mengalirkan konstanta—seperti bobot jaringan saraf—ke semua inti secara bersamaan. Unit load-stat yang dikontrol software secara statis memungkinkan waktu runtime kernel deterministik, dengan beban dual-edge bersamaan dan penyimpanan triple-edge yang mengurangi waktu eksekusi.
Daniel Firu (Sumber: Quadric)
“Memuat dari satu sisi dan menyimpan dari sisi lain memungkinkan kami untuk melakukan pemetaan ulang data dan rotasi citra pada tingkat hardware,” kata Firu.
Memori statis on-chip, bukan cache, menyediakan ruang yang cukup untuk struktur data besar. Memori 8 GB Q16 dapat menampung beberapa buffer frame HD atau seluruh set bobot jaringan saraf.
Stack Software
Quadric membangun stack software sebelum silicon, memungkinkan pengembang untuk membuat prototipe pada simulator atau FPGA. Stack mengabstraksi arsitektur melalui kompilator berbasis LLVM dan API C++. Source Mode mendukung algoritma data-parallel dengan kontrol C++ atas fitur arsitektur, dan dapat mengekspresikan operasi custom saat model AI menjadi lebih kompleks.
Stack software Quadric (Sumber: Quadric)
Graph Mode yang akan hadir akan menyediakan antarmuka tanpa kode untuk model TensorFlow atau ONNX, didukung oleh kompilator DNN berbasis TVM yang secara otomatis menghasilkan kode.
("Platform sebagian besar membatasi Anda pada kompilator AI mereka sendiri, tetapi kami menawarkan inti Turing-complete penuh yang dapat mengeksekusi setiap operasi,” jelas Kheterpal. “Fleksibilitas ini memungkinkan pengembang untuk menerapkan algoritma custom atau operator yang tidak didukung tanpa batasan.”
Roadmap Chip
Q16 menyediakan 256 inti Vortex dalam array 16 × 16 yang difabrikasi di silicon 16 nm, mencapai 4 INT8 DNN TOPS. Ia menjalankan ResNet-50 pada 200 inferensi per detik pada gambar 224 × 224, menarik rata-rata 2 W.
Roadmap Quadric mencakup arsitektur generasi kedua dan chip Q32—array 1.000 inti—ditetapkan untuk manufaktur 7 nm. Q32 mungkin juga mengintegrasikan inti ARM atau RISC-V untuk berfungsi sebagai prosesor host.
Kit pengembang M.2 yang menyelenggarakan prosesor Q16 dan 4 GB memori eksternal tersedia saat ini.
>> Artikel ini awalnya diterbitkan di situs saudara kami, EE Times.
Konten Terkait:
Hardware accelerators serve AI applications
When a DSP beats a hardware accelerator
A guide to accelerating applications with just‑right RISC‑V custom instructions
Inference chip performance builds on optimized memory subsystem design
New AI acceleration modules enhance edge performance
Edge AI challenges memory technology
Untuk lebih banyak Embedded, berlangganan newsletter email mingguan Embedded.
