Chip Edge AI mengabaikan larik akumulasi ganda untuk mencapai 55 TOPS/W

Sebuah startup lembah silikon mengklaim telah menemukan kembali matematika jaringan saraf dan telah menghasilkan chip AI tepi pelengkap, sudah mengambil sampel, yang tidak menggunakan array besar unit akumulasi ganda yang biasa. Chip ini dapat menjalankan setara dengan 4 TOPS, dengan konsumsi daya yang mengesankan sebesar 55 TOPS/W, dan menurut perusahaan, mencapai inferensi kelas pusat data di bawah 20mW (YOLOv3 pada 30fps).

Perceive yang berbasis di San Jose telah berada dalam mode super-siluman sampai sekarang — sebagai spin-out dari Xperi, telah didanai sepenuhnya oleh induknya sejak secara resmi terbentuk dua tahun lalu. Tim ini berjumlah 41 orang, dengan jumlah yang sama dalam Xperi yang mengerjakan aplikasi untuk chip tersebut. CEO Pendiri Steve Teig juga CTO Xperi; dia sebelumnya adalah pendiri dan CTO Tabula, startup logika terprogram 3D yang tutup lima tahun lalu, dan sebelum itu, CTO Cadence.

Teig menjelaskan bahwa ide awalnya adalah untuk menggabungkan pengetahuan klasik Xperi tentang pemrosesan gambar dan audio dengan pembelajaran mesin. Xperi memiliki merek seperti DTS, IMAX Enhanced, dan HD Radio — portofolio teknologinya mencakup perangkat lunak pemrosesan gambar untuk fitur seperti mata merah foto dan stabilisasi gambar yang banyak digunakan di kamera digital, ditambah perangkat lunak pemrosesan audio untuk pemutar disk Blu-Ray.

Steve Teig (Gambar:Perceive)

“Kami mulai dengan selembar kertas bersih, dan menggunakan teori informasi untuk bertanya:komputasi apa yang sebenarnya dilakukan jaringan saraf? Dan apakah ada cara berbeda untuk mendekati perhitungan itu yang dapat mengubah apa yang mungkin [di tepi]?” kata Teig. “Setelah beberapa tahun melakukan pekerjaan ini, kami menemukannya, dan kemudian memutuskan… kami harus membuat chip yang mewujudkan ide-ide ini.”

Ide yang diberikan Teig kepada dewan Xperi adalah untuk membentuk sebuah perusahaan untuk membuat chip yang dapat melakukan inferensi yang berarti pada perangkat edge dengan anggaran daya 20mW. Hasilnya, chip 7x7mm bernama Ergo, dapat menjalankan 4 TOPS tanpa RAM eksternal (sebenarnya, ini berjalan setara dengan apa yang dapat dicapai oleh GPU dengan peringkat 4 TOPS, jelas Teig). Ergo mendukung banyak gaya jaringan saraf, termasuk jaringan convolutional (CNN) dan jaringan berulang (RNN), berbeda dengan banyak solusi di pasar yang disesuaikan untuk CNN. Ergo bahkan dapat menjalankan beberapa jaringan heterogen secara bersamaan.

“Satu-satunya hal yang membatasi berapa banyak jaringan yang dapat kami jalankan adalah total memori yang diperlukan untuk kombinasi tersebut,” kata Teig, menambahkan bahwa Perceive telah mendemonstrasikan secara bersamaan menjalankan YOLOv3 atau M2Det — dengan 60 atau 70 juta parameter — ditambah ResNet 28 dengan beberapa juta parameter, ditambah LSTM atau RNN untuk melakukan pemrosesan ucapan dan audio. Dalam sebuah aplikasi, ini mungkin terkait dengan pencitraan dan inferensi audio pada saat yang bersamaan.

Perceive juga mengklaim chip Ergo-nya sangat hemat daya, mencapai 55 TOPS/W. Angka ini adalah urutan besarnya di atas apa yang diklaim beberapa pesaing. Angka Perceive membuatnya menjalankan YOLOv3, jaringan besar dengan 64 juta parameter, pada 30 frame per detik dengan konsumsi hanya 20mW.

Perceive mengklaim efisiensi chip Ergo-nya mencapai 55 TOPS/W, menjalankan YOLOv3 pada 30fps hanya dengan 20mW (Gambar:Perceive)

Efisiensi daya ini disebabkan oleh beberapa teknik power gating dan clock gating yang agresif, yang memanfaatkan sifat deterministik dari pemrosesan jaringan saraf – tidak seperti jenis kode lainnya, tidak ada cabang, sehingga pengaturan waktu diketahui pada waktu kompilasi. Hal ini memungkinkan Perceive untuk mengetahui dengan tepat apa yang perlu diaktifkan dan kapan.

“Dalam pengaturan bertenaga baterai, [chip] dapat benar-benar mati — nol miliwatt — dan memiliki semacam sensor gerak mikrowatt atau mikrofon analog untuk mendeteksi sesuatu yang mungkin menarik,” kata Teig. “Kita bisa bangun dari mati, memuat jaringan saraf raksasa kelas pusat data, dan menjalankannya dalam waktu sekitar 50 milidetik, termasuk dekripsi. Jadi kami hanya menyisakan sekitar dua bingkai video di lantai.”

Namun desain perangkat keras yang cermat hanyalah sebagian dari gambarannya.

Teori informasi

“Kami telah menemukan cara berbeda untuk merepresentasikan komputasi yang mendasari itu sendiri dan aritmatika yang menyertainya,” kata Teig. “Kami mewakili jaringan itu sendiri dengan cara baru, dan dari situlah keuntungan kami berasal.”

Perceive dimulai dengan teori informasi — cabang ilmu yang mencakup cara matematis untuk membedakan sinyal dari noise — dan menggunakan konsepnya untuk melihat seberapa banyak komputasi yang diperlukan untuk menarik sinyal dari noise. Teig menggunakan jaringan deteksi objek sebagai contoh.

“Anda menyerahkan jutaan piksel jaringan dan yang ingin Anda ketahui hanyalah, apakah ada anjing di gambar ini atau tidak?” dia berkata. “Segala sesuatu yang lain dalam gambar adalah kebisingan, kecuali anjing-an [sinyal]. Teori informasi membuatnya dapat diukur — seberapa banyak yang harus Anda ketahui [untuk mengetahui apakah ada seekor anjing dalam gambar]? Anda benar-benar dapat membuatnya tepat, secara matematis.”

Seperti yang dijelaskan Teig, jaringan saraf arus utama dapat menggeneralisasi berdasarkan melihat banyak gambar anjing karena mereka telah menemukan setidaknya beberapa sinyal dalam kebisingan, tetapi ini telah dilakukan dengan cara empiris daripada dengan pendekatan matematis yang ketat. Ini berarti noise dibawa bersama sinyal, membuat jaringan saraf utama menjadi sangat besar, dan membuatnya rentan terhadap contoh permusuhan dan trik lainnya.

“Semakin Anda bisa matematis tentang mencari tahu bagian mana yang perlu disimpan dan bagian mana yang hanya berisik, semakin baik pekerjaan yang dapat Anda lakukan pada generalisasi, dan semakin sedikit overhead lain yang harus Anda bawa,” kata Teig. “Saya akan mengklaim bahkan jaringan saraf saat ini mengekstraksi sinyal dari kebisingan, mereka tidak melakukannya dengan cara yang ketat dan akibatnya mereka membawa beban ekstra.”

Sudut pandang teori informasi ini adalah dasar untuk strategi pembelajaran mesin Perceive, yang mewakili jaringan saraf dengan cara baru.

“Sungguh, ini adalah perkawinan antara perspektif teoretis informasi tentang cara melakukan pembelajaran mesin dan chip yang mewujudkan ide-ide itu,” kata Teig.

Arsitektur Chip

Dengan latar belakang Teig sebagai CTO Tabula, Anda mungkin mengharapkan perangkat keras berdasarkan logika yang dapat diprogram, tetapi tidak demikian halnya di sini.

“Saya sangat dipengaruhi oleh pemikiran tentang logika yang dapat diprogram selama satu dekade dan bagaimana membangun arsitektur interkoneksi yang kaya untuk memungkinkan komputasi paralel berkinerja tinggi, karena banyak dari apa yang terjadi pada FPGA juga paralel secara masif, dan sangat intensif dalam prosesnya. interaksi antara komputasi dan memori,” kata Teig. “Pekerjaan itu benar-benar memengaruhi pekerjaan saya di Perceive, tetapi apa yang kami miliki bukanlah logika yang dapat diprogram per se . Itu dipengaruhi oleh cara berpikir itu, tetapi arsitekturnya sendiri ada di sekitar jaringan saraf.”

Struktur jaringan saraf Perceive dapat diskalakan, dengan chip awal Ergo memiliki empat cluster komputasi, masing-masing dengan memorinya sendiri. Sementara detail pastinya masih dirahasiakan, Teig mengatakan bahwa kluster ini sangat berbeda dengan apa pun yang ditemukan di akselerator AI lainnya, yang biasanya menggunakan array unit akumulasi ganda (MAC) untuk menghitung produk titik dari vektor dan matriks.

Teknologi Perceive didasarkan pada penemuan kembali matematika jaringan saraf menggunakan teknik dari teori informasi (Gambar:Perceive)

“Kami tidak melakukan itu,” kata Teig. “Kami tidak memiliki rangkaian MAC. Hasilnya … kami 20 hingga 100 X lebih hemat daya dibandingkan produk lain di pasaran, alasannya adalah semua orang melakukan hal yang sama dan kami tidak. Representasi jaringan kami cukup baru, dan itulah yang memungkinkan kami mencapai efisiensi yang luar biasa. Itu, ditambah teknologi pembelajaran mesin yang dapat menemukan representasi jaringan ini, dan melatih jaringan dengan cara yang membuatnya kompatibel dengan apa yang ingin dilihat oleh chip.”

Gambar dan Audio

Ergo dapat mendukung dua kamera dan mencakup unit pemrosesan gambar yang berfungsi sebagai pra-pemroses, menangani hal-hal seperti gambar lensa mata ikan yang melemahkan, koreksi gamma, penyeimbangan putih, dan pemotongan.

“Ini tidak mewah, tetapi pra-pemrosesan yang jelas berguna untuk dilakukan di perangkat keras, kami lakukan di perangkat keras,” kata Teig. “Dan kami juga memiliki audio yang setara — kami dapat mengambil beberapa mikrofon stereo dan melakukan pembentukan sinar, misalnya.”

Ada juga Synopsis ARC microprocessor dengan DSP block yang juga bisa digunakan untuk pre-processing, plus security block, juga dari Synopsis.

“Salah satu hal yang telah kami lakukan adalah mengenkripsi semuanya untuk menjaga tingkat keamanan dalam pengaturan IoT. Kami mengenkripsi jaringan, mengenkripsi kode yang berjalan di mikroprosesor, mengenkripsi antarmuka, mengenkripsi semuanya,” kata Teig.

Chip ini memiliki fitur I/O yang sesuai untuk sensor di luar gambar dan audio, dan mendukung memori Flash eksternal dan/atau mikroprosesor yang memungkinkan pembaruan over-the-air. Ini dapat digunakan untuk memperbarui jaringan saraf yang dimuat pada chip, atau memuat jaringan yang berbeda sesuai kebutuhan.

Ergo sedang mengambil sampel sekarang bersama dengan papan referensi yang menyertainya. Produksi massal diharapkan pada Q2 2020.