Prosesor crossover berbiaya rendah mendukung inferensi titik akhir

BRISTOL, UK — XMOS telah mengadaptasi inti prosesor Xcore untuk pembelajaran mesin, menciptakan prosesor crossover untuk aplikasi AIoT. Xcore.ai akan tersedia mulai dari $1.

Xcore.ai, produk generasi ketiga yang dibangun berdasarkan desain inti milik perusahaan, dirancang untuk inferensi AI dan pengambilan keputusan real-time di perangkat titik akhir, dan juga dapat menangani fungsi pemrosesan sinyal, kontrol, dan komunikasi.

Yang baru pada chip generasi ketiga ini adalah kemampuan pipa vektor untuk aplikasi pembelajaran mesin. Ini adalah satu-satunya prosesor crossover dari jenisnya yang mendukung jaringan saraf biner (1-bit), yang semakin penting untuk AI berdaya sangat rendah dalam aplikasi titik akhir karena mereka menawarkan peningkatan urutan besaran dalam kinerja dan kepadatan memori yang diperdagangkan untuk pengurangan akurasi yang sederhana (Xcore.ai juga mendukung angka 32-bit, 16-bit dan 8-bit).

Xcore.ai bergabung dengan kelas baru sistem berkemampuan AI pada chip untuk aplikasi titik akhir, prosesor crossover (Gambar:XMOS)

Xcore.ai bergabung dengan kelas prosesor titik akhir yang sedang berkembang dengan kemampuan AI, prosesor crossover. Diciptakan oleh NXP, istilah ini menjelaskan kategori perangkat baru yang penting dengan kinerja prosesor aplikasi yang dikombinasikan dengan kemudahan penggunaan, konsumsi daya yang rendah, dan pengoperasian mikrokontroler secara real-time.

“Jika Anda berbicara dengan pelanggan tentang 'mikrokontroler,' mereka berpikir tentang perangkat Cortex-M0, M3 atau M4 yang datang dengan harga 75 sen atau lebih rendah, dengan kinerja yang relatif rendah, sekitar seratus MIPS. Kemudian 'SoCs' mungkin sesuatu dengan inti quad-A53, yang berjalan pada gigahertz. Ada celah besar untuk hal-hal di tengah, seperti prosesor untuk suara, yang merupakan masalah matematika yang sangat sulit, membutuhkan ribuan MIPS. Jadi ada celah besar dengan area aplikasi yang sangat besar dan penting berada tepat di tengah-tengahnya, dan itu layak mendapatkan nama,” kata Mark Lippett, CEO XMOS, dalam sebuah wawancara eksklusif dengan EETimes.

Antarmuka Suara

Produk generasi kedua perusahaan yang sebelumnya diumumkan, XVF3510, diluncurkan pada Juli 2019 sebagai ASIC untuk antarmuka suara, tetapi di bawah kap silikon juga didasarkan pada desain Xcore milik perusahaan, yang dikirimkan dengan firmware. Desain referensi untuk solusi suara jarak jauh berdasarkan XVF3510 memenuhi syarat untuk Layanan Suara Alexa Amazon.

Mengingat sejarah XMOS di sektor suara, tidak mengherankan bahwa chip Xcore.ai awalnya akan ditargetkan pada aplikasi antarmuka suara yang memerlukan AI untuk deteksi kata kunci atau fungsi kamus.

“Mari kita perjelas, suara adalah beban kerja AI yang paling penting pada titik akhir, dan mungkin akan tetap demikian untuk beberapa waktu ke depan. Tetapi untuk membuat antarmuka suara lebih baik, Anda akan menemukan bahwa perangkat akan menjadi lebih multimodal, ”kata Lippett, menggambarkan tren penggunaan berbagai jenis sensor untuk membuat aplikasi lebih sadar konteks, apakah itu mendeteksi keberadaan seseorang atau mendeteksi di mana mereka berbicara dari.

“Ada banyak peluang untuk meningkatkan pengalaman pengguna dengan tidak hanya mendengarkan audio, tetapi dengan melakukan lebih dari itu,” katanya.

Banyak aplikasi AI di perangkat IoT bergantung pada kombinasi privasi, keamanan, dan keselamatan yang mengharuskan pemrosesan dilakukan di titik akhir. Lippett menjelaskan fitur keselamatan pada peralatan yang menggunakan suara dan radar untuk mematikan oven jika hanya ada anak-anak di dapur, misalnya.

Xcore.ai karena itu akan pergi ke pasar dengan perpustakaan yang disediakan untuk pembuatan antarmuka suara, tetapi Lippett mengatakan bahwa ia memiliki kapasitas cadangan bagi pelanggan untuk membangun sistem mereka sendiri. Antarmuka MIPI disertakan untuk input kamera.

Arsitektur Xcore

Chip Xcore.ai menghasilkan hingga 3200 MIPS, 51,2 GMACC, dan 1600 MFLOPS. Ini memiliki 1 Mbyte SRAM tertanam ditambah antarmuka DDR berdaya rendah untuk ekspansi.

Dibandingkan perangkat Cortex-M7 yang menyediakan tingkat integrasi yang kira-kira sama dengan Xcore.ai, berjalan pada frekuensi operasi yang sama, angka XMOS sendiri menempatkan peran mereka pada 32x kinerja pemrosesan AI dan 15x kinerja DSP.

"Di dunia titik akhir, itu harus kinerja harga, tidak ada gunanya membicarakan satu tanpa yang lain," kata Lippett. “Kami benar-benar agresif pada harga, kami bisa turun menjadi $1 untuk bagian ini [dalam volume]. Secara umum, biaya kami sekitar setengah [dari perangkat Cortex-M7 yang sebanding] dan kami mengeluarkannya dari air dalam hal kinerja.”

Xcore didasarkan pada inti logis yang disusun dalam ubin dengan memori,
ALU dan unit vektor (Gambar:XMOS)

Xcore.ai didasarkan pada arsitektur Xcore milik XMOS. Xcore sendiri dibangun di atas blok penyusun yang disebut inti logis, yang dapat digunakan untuk I/O, DSP, fungsi kontrol, atau akselerasi AI. Ada delapan inti logis pada setiap ubin, dengan dua ubin di setiap chip Xcore.ai, dan desainer dapat memilih berapa banyak inti yang akan dialokasikan untuk setiap fungsi. Setiap petak juga berisi memori, ALU, dan unit vektor yang aksesnya dibagikan oleh inti logika.

“Kritis, mereka [berbagi akses] dengan cara yang sangat dapat diprediksi,” kata Lippett. “Inilah yang spesial dari Xcore. Awalnya, kami ingin memberikan fleksibilitas I/O kepada insinyur perangkat lunak, dan perangkat keras tidak terlalu toleran jika Anda melewatkan tenggat waktu. Jadi Xcore adalah multi-core, bukan karena kami ingin mengurangi beban kerja dan melakukan berbagai hal dengan sangat cepat  — kami dapat melakukannya — tetapi sebenarnya ini adalah multi-core karena kami ingin memberikan bagian tertentu dari aplikasi sumber daya mereka sendiri, sehingga ketika dibutuhkan, sudah siap. Ini dirancang dari bawah ke atas untuk memberikan akurasi waktu seperti itu.”

Memetakan berbagai fungsi (I/O, DSP, kontrol, AI) ke inti logis dalam firmware memungkinkan pembuatan 'SoC virtual', yang seluruhnya ditulis dalam perangkat lunak. Pada contoh di bawah, satu inti melakukan tugas yang biasanya dilakukan di perangkat keras, seperti I ² S, saya ² C dan driver LED, dan beberapa inti memproses jaringan saraf, sementara yang lain melakukan tugas yang biasanya dilakukan dalam perangkat lunak. Mendefinisikan semua ini dalam perangkat lunak lebih cepat, agar sesuai dengan tuntutan sementara perangkat IoT. Pengembangan juga lebih murah, kata Lippett, memungkinkan perusahaan menciptakan solusi yang ekonomis bahkan di segmen pasar yang lebih kecil.

Contoh aplikasi yang dipetakan ke perangkat Xcore.ai (Gambar:XMOS)

“Cara kami melihat pasar berkembang adalah bahwa pasar menuntut fitur yang lebih beragam, dan perusahaan perlu merespons lebih cepat,” kata Lippett. “Sangat sulit untuk memasang taruhan dua tahun di IoT tanpa membangun platform yang sangat umum yang mungkin [akhirnya] tidak cukup baik untuk segmen mana pun. [Dengan Xcore.ai], membawa perangkat ke pasar jauh lebih mudah dengan lebih cepat, dengan belanja modal yang lebih sedikit, dan secara efektif menempatkan taruhan yang lebih kecil di pasar yang lebih kecil dan membuat pasar tersebut ekonomis.”

Bagaimana XMOS bersaing dengan pembuat mikrokontroler besar yang pindah ke ruang prosesor crossover ini?

“Bukan dengan membangun SoC berbasis ARM! Karena mereka melakukannya dengan sangat baik,” kata Lippett. “Satu-satunya cara untuk bersaing dengan orang-orang itu adalah dengan memiliki keunggulan arsitektural. Itu tentang kemampuan intrinsik Xcore dalam hal kinerja, tetapi juga fleksibilitas.”