Chip prosesor dalam memori mempercepat komputasi AI

Imec dan GlobalFoundries telah mendemonstrasikan chip prosesor dalam memori yang dapat mencapai efisiensi energi hingga 2900 TOPS/W, kira-kira dua kali lipat di atas chip prosesor dalam memori komersial saat ini. Chip ini menggunakan ide yang mapan, komputasi analog, yang diimplementasikan dalam SRAM dalam teknologi proses silikon-on-isolator (FD-SOI) 22nm yang sepenuhnya habis dari GlobalFoundries. Komputasi dalam memori analog (AiMC) Imec akan tersedia untuk pelanggan GlobalFoundries sebagai fitur yang dapat diimplementasikan pada platform 22FDX perusahaan.

Chip uji AnIA Imec, terlihat di sini dipasang pada PCB yang digunakan untuk pengukuran dan karakterisasi, dapat mencapai hingga 2900 TOPS/W (Gambar:Imec)

Komputasi analog

Komputasi analog, atau prosesor dalam memori, adalah teknik mapan yang sudah digunakan dalam chip akselerator AI komersial dari perusahaan rintisan Mythic, Syntiant, Gyrfalcon, dan lainnya.

Karena model jaringan saraf mungkin memiliki puluhan atau ratusan juta bobot, pengiriman data bolak-balik antara memori dan prosesor menjadi tidak efisien. Komputasi analog menggunakan susunan memori untuk menyimpan bobot dan juga melakukan operasi akumulasi-multiplikasi (MAC), sehingga tidak diperlukan transfer memori-ke-prosesor. Setiap elemen memristor (mungkin sel ReRAM) memiliki konduktansi yang diprogram ke tingkat analog yang sebanding dengan bobot yang dibutuhkan.

Menerapkan tegangan sebanding dengan aktivasi input (melalui konversi digital-ke-analog — di sebelah kiri diagram di bawah) berarti arus yang melalui setiap elemen sebanding dengan produk aktivasi dan berat. Arus yang melalui setiap garis bit vertikal (garis vertikal pada diagram di bawah) adalah jumlah dari produk berat aktivasi ini, yang dapat diumpankan melalui konverter analog-ke-digital. Jumlah produk bobot aktivasi ini sangat penting untuk penghitungan algoritme jaringan saraf.

Komputasi analog menggunakan array sel memristor untuk menghitung perkalian vektor matriks tanpa harus mengirim data antara memori dan prosesor (Gambar:Imec)

“Dalam praktiknya, banyak opsi yang memungkinkan selain ReRAM — kita dapat menggunakan MRAM, Flash, DRAM… tujuan dari program ini adalah untuk memahami mana yang terbaik untuk aplikasi dan mengoptimalkan opsi untuk setiap domain aplikasi,” jelas Diederik Verkest, program direktur pembelajaran mesin di Imec.

Chip uji

Imec telah membangun chip uji, yang disebut akselerator inferensi analog (AnIA), berdasarkan proses FD-SOI 22nm dari GlobalFoundries. Rangkaian sel SRAM 512k AnIA ditambah infrastruktur digital termasuk 1024 DAC dan 512 ADC membutuhkan 4mm ² . Itu dapat melakukan sekitar setengah juta

komputasi per siklus operasi berdasarkan aktivasi input 6-bit (plus tanda bit), bobot terner (-1, 0, +1) dan output 6-bit.

“Kami mampu menghasilkan keluaran perkalian vektor matriks pada tegangan suplai yang berbeda, 0,8 dan 0,6V,” kata Ioannis Papistas dari kelompok pembelajaran mesin Imec. “Beroperasi pada tegangan suplai yang lebih rendah tanpa mempengaruhi keakuratan operasi dapat secara signifikan mengurangi konsumsi daya operasi, yang sangat penting untuk inferensi dalam sistem yang dibatasi energi. Ini adalah fitur penting dari desain kami, yang dimungkinkan oleh proses 22FDX, yang memungkinkan inferensi kompetitif di edge.”

Imec menunjukkan hasil akurasi untuk inferensi pengenalan objek pada set data CIFAR 10 yang turun hanya satu poin persentase dibandingkan dengan baseline terkuantisasi serupa. Dengan tegangan suplai 0,8 V, efisiensi energi AnIA adalah antara 1050 dan 1500 TOPS/W pada 23,5 TOPS. Untuk tegangan suplai 0,6 V, AnIA mencapai 5,8 TOPS pada sekitar 1800-2900 TOPS/W.

Efisiensi energi untuk berbagai akselerator AI dibandingkan dengan chip uji AnIA Imec (Klik untuk memperbesar) (Gambar:Imec)

Inovasi arus utama

“Inovasi [Imec disajikan] akan menjadi arus utama,” kata Hiren Majmudar, VP dan GM unit bisnis komputasi GlobalFoundries. “Kami melihat mitra, pelanggan GlobalFoundries yang berada di tahap pasca-produksi dengan silikon tervalidasi… kami berharap silikon berbasis komputasi analog akan mencapai produksi sekitar akhir tahun ini atau awal tahun depan. Dalam hal penyebaran pasar massal, kami mengantisipasi komputasi analog untuk mulai masuk ke pasar massal paling lambat tahun 2022. Namun hal itu berpotensi terjadi lebih cepat dari itu.”

GlobalFoundries bekerja untuk memasukkan teknologi AiMC Imec sebagai fitur yang dapat diimplementasikan pada platform 22 FDX untuk mengaktifkan akselerator AI yang hemat energi. Proses FD-SOI dirancang untuk konsumsi daya yang rendah, dengan kemampuan untuk beroperasi hingga 0,5 V dengan 1 pico amp per mikron untuk kebocoran siaga sangat rendah. 22FDX dengan fitur AiMC baru sedang dikembangkan di lini produksi 300mm GlobalFoundries di Fab 1 di Dresden, Jerman.

Adapun Imec, program pembelajaran mesin akan terus berlanjut. Ambisi grup ini adalah mencapai 10.000 TOPS/W (10 TOPS di bawah 100mW) untuk sensor pintar yang selalu aktif dan perangkat yang dapat dikenakan konsumen, kata Verkest.

“Dalam program ML kami, langkah kami selanjutnya adalah mengurangi ukuran sel komputasi ini dan mulai melihat perangkat memori yang muncul sebagai implementasi generasi berikutnya untuk prinsip ini,” katanya.

>> Artikel ini awalnya diterbitkan pada situs saudara kami, EE Times.