Alat perangkat lunak memigrasikan kode GPU ke FPGA untuk aplikasi AI

Startup perangkat lunak AI, Mipsology, bekerja dengan Xilinx untuk memungkinkan FPGA menggantikan GPU dalam aplikasi akselerator AI hanya dengan menggunakan satu perintah tambahan. Perangkat lunak “zero effort” Mipsology, Zebra, mengonversi kode GPU untuk berjalan di mesin komputasi AI Mipsology pada FPGA tanpa perlu mengubah kode atau pelatihan ulang.

Xilinx hari ini mengumumkan pengiriman Zebra dengan build terbaru dari kartu Alveo U50 untuk pusat data. Zebra sudah mendukung akselerasi inferensi pada papan Xilinx lainnya, termasuk Alveo U200 dan Alveo U250.

Kartu akselerator pusat data Xilinx Alveo U50 versi terbaru kini hadir dengan perangkat lunak Zebra Mipsology untuk konversi kode AI GPU agar berjalan di FPGA (Gambar:Xilinx)

“Tingkat akselerasi yang dibawa Zebra ke kartu Alveo kami mempermalukan akselerator CPU dan GPU,” kata Ramine Roane, wakil presiden pemasaran Xilinx. “Dikombinasikan dengan Zebra, Alveo U50 memenuhi kebutuhan fleksibilitas dan kinerja beban kerja AI serta menawarkan throughput tinggi dan keunggulan kinerja latensi rendah untuk penerapan apa pun.”

Plug-and-play

FPGA secara historis dipandang sangat sulit diprogram untuk non-spesialis, tetapi Mipsology ingin membuat FPGA menjadi solusi plug-and-play yang mudah digunakan seperti CPU atau GPU. Idenya adalah untuk membuatnya semudah mungkin beralih dari jenis akselerasi lain ke FPGA.

“Cara terbaik untuk melihat [Mipsology] adalah kami melakukan perangkat lunak yang berjalan di atas FPGA untuk membuatnya transparan dengan cara yang sama seperti Nvidia melakukan Cuda CuDNN untuk membuat GPU sepenuhnya transparan bagi pengguna AI,” kata CEO Mipsology Ludovic Larzul , dalam sebuah wawancara dengan EE Times .

Yang terpenting, ini dapat dilakukan oleh non-ahli, tanpa keahlian AI yang mendalam atau keterampilan FPGA, karena tidak ada pelatihan ulang model yang diperlukan untuk transisi.

“Kemudahan penggunaan sangat penting, karena ketika Anda melihat proyek AI orang, mereka sering tidak memiliki akses ke tim AI yang merancang jaringan saraf,” kata Larzul. “Biasanya jika seseorang menerapkan sistem robot, atau sistem pengawasan video… mereka memiliki beberapa tim lain atau pihak lain yang mengembangkan jaringan saraf dan melatih mereka. Dan begitu mereka mendapatkan [model terlatih], mereka tidak ingin mengubahnya karena mereka tidak memiliki keahlian.”

Tumpukan Zebra. Teknologi ini dapat diterapkan di seluruh pusat data, edge, dan aplikasi yang disematkan (Gambar:Mipsology)

Versus Vitis

Mengapa Xilinx mendukung perangkat lunak pihak ketiga ketika sudah memiliki solusi komprehensif yang dimaksudkan untuk membuat FPGA dapat diakses oleh ilmuwan data dan pengembang perangkat lunak (yaitu, Vitis)?

“Pitch dalam satu kalimat adalah:kami melakukan yang lebih baik,” kata Larzul. “Kalimat lain adalah:milik kita berhasil.”

Mipsology tidak menggunakan bagian mana pun dari Vitis atau menautkannya dengan cara apa pun, juga tidak menggunakan XDNN, mesin akselerator jaringan saraf Xilinx. Mipsology memiliki mesin komputasi sendiri di dalam Zebra, yang mendukung model jaringan saraf konvolusi (CNN) pelanggan yang ada, tidak seperti XDNN yang menurut Larzul memiliki dukungan untuk banyak demo tetapi kurang cocok untuk jaringan saraf khusus. Ini, katanya, membuat jaringan kustom aktif dan berjalan dengan XDNN "menyakitkan". Meskipun XDNN dapat bersaing dalam aplikasi yang tidak memiliki ancaman dari GPU, Zebra dimaksudkan untuk memungkinkan FPGA menghadapi GPU secara langsung berdasarkan kinerja, biaya, dan kemudahan penggunaan.

Tumpukan Zebra secara detail. Tujuannya adalah menjadikan FPGA sebagai peralihan yang lebih sederhana dari GPU atau CPU untuk akselerasi AI dengan menyembunyikan perangkat keras sebanyak mungkin (Gambar:Mipsology)

Sebagian besar motivasi pelanggan untuk berubah dari solusi GPU adalah biaya, kata Larzul.

“Mereka ingin menurunkan biaya perangkat keras, tetapi tidak ingin mendesain ulang jaringan saraf,” katanya. “Ada biaya tidak berulang [yang dihindari] karena kami dapat mengganti GPU secara transparan, dan tidak ada pelatihan ulang atau modifikasi jaringan saraf.”

FPGA juga menawarkan keandalan, sebagian karena mereka kurang agresif pada real estat silikon dan sering kali berjalan lebih dingin daripada jenis akselerator lain termasuk GPU, menurut Larzul. Ini sangat penting di pusat data di mana biaya pemeliharaan jangka panjangnya signifikan.

“Total biaya kepemilikan bukan hanya harga papan,” kata Larzul. “Ada juga harga untuk memastikan sistem aktif dan berjalan.”

Zebra juga bertujuan untuk membuat FPGA bersaing dalam hal kinerja. Meskipun FPGA biasanya menawarkan TOPS (tera operasi per detik) lebih sedikit daripada akselerator lainnya, mereka dapat menggunakan TOPS tersebut secara lebih efisien berkat mesin komputasi Zebra yang dirancang dengan cermat, kata Larzul.

“Itu adalah sesuatu yang dilupakan oleh sebagian besar startup ASIC yang mempercepat AI — mereka melakukan bagian yang sangat besar dari silikon, mencoba mengemas lebih banyak TOPS, tetapi mereka belum memikirkan bagaimana Anda memetakan jaringan Anda agar efisien. ,” katanya, mencatat bahwa mesin berbasis FPGA Zebra mampu memproses lebih banyak gambar per detik daripada GPU dengan jumlah TOPS 6x.

Bagaimana ini dicapai? Sementara Larzul tidak memberikan rincian yang tepat, dia mengatakan bahwa mereka tidak bergantung pada pemangkasan, karena pengurangan akurasi terlalu besar untuk dapat diterima tanpa pelatihan ulang. Mereka tidak menggunakan kuantisasi ekstrim (di bawah 8-bit) untuk alasan yang sama.

Mesin Zebra mempercepat CNN, yang sebagian besar digunakan oleh aplikasi pemrosesan gambar dan video saat ini, tetapi Zebra juga dapat diterapkan pada BERT (model pemrosesan bahasa alami Google), yang menggunakan konsep matematika serupa. Iterasi Zebra di masa mendatang dapat mencakup jenis jaringan saraf lain termasuk LSTM (memori jangka pendek panjang) dan RNN (jaringan saraf berulang), tetapi ini lebih sulit dicapai karena RNN secara matematis lebih beragam.

Tim dari EVE

Mipsology didirikan pada tahun 2015, dengan sekitar 30 orang bekerja di R&D di Prancis, dan tim kecil di California yang sebagian besar menangani pengembangan bisnis. Perusahaan telah menerima dana sebesar $7 juta, $2 juta di antaranya merupakan hadiah dari kompetisi inovasi pemerintah Prancis pada tahun 2019.

Tim inti Mipsology berasal dari EVE — perusahaan emulator ASIC yang diakuisisi oleh Synopsys pada tahun 2012 untuk produk verifikasi berbantuan perangkat keras ZeBu (Zero Bug), yang pada saat itu merupakan pesaing untuk platform verifikasi Palladium Cadence. Menurut Larzul, teknologi EVE digunakan oleh hampir semua perusahaan ASIC besar untuk memverifikasi ASIC selama siklus desain; teknologi ini mengandalkan ribuan FPGA yang terhubung bersama untuk mereproduksi perilaku ASIC.

Mipsology memiliki 12 paten tertunda dan bekerja sama dengan Xilinx serta kompatibel dengan kartu akselerator pihak ketiga seperti kartu Western Digital small form factor (SFF U.2) dan kartu Advantech seperti Vega-4001.

>> Artikel ini awalnya diterbitkan pada situs saudara kami, EE Times.