Mengoptimalkan Performa dengan Arsitektur Inferensi Multi-Chip
Dua tahun terakhir telah melihat ombak inovasi dalam desain chip inferensi. Sementara solusi baru muncul hampir setiap minggu, banyak perusahaan kesulitan membandingkannya karena benchmark yang andal langka. Sampai sekarang, vendor mengiklankan TOPS atau TOPS/Watt tanpa merinci model, ukuran batch, atau kondisi operasi, dan benchmark ResNet-50 yang populer terlalu sederhana untuk sebagian besar beban kerja dunia nyata.
Yang benar-benar penting saat mengukur performa chip inferensi adalah utilisasi MAC tinggi, konsumsi daya rendah, dan jejak silikon yang kompak. Setelah metrik ini dipahami, langkah logis berikutnya adalah menjelajahi manfaat—dan jebakan—penggunaan beberapa chip dalam satu desain.
Mengapa Beberapa Chip Dapat Memberikan Peningkatan Linier
Saat sebuah chip dirancang untuk paralelisme, penskalaan ke dua, empat, atau lebih banyak unit dapat, secara teori, meningkatkan throughput proporsional—mirip dengan memperluas jalan satu jalur menjadi koridor multi-jalur. Kunci adalah menghindari hambatan lalu lintas dengan memilih chip yang tepat dan mempartisi jaringan saraf dengan benar.
Mempartisi Jaringan Saraf di Antara Beberapa Chip
Jaringan saraf terorganisir ke dalam lapisan. Setiap lapisan mengonsumsi output aktivasi dari lapisan sebelumnya. Dalam model dalam seperti ResNet-50 (50 lapisan) atau YOLOv3 (lebih dari 100 lapisan), lapisan awal menghasilkan aktivasi terbesar, yang secara bertahap menyusut seiring jaringan berkembang.
Untuk membagi model di antara beberapa chip, periksa baik ukuran aktivasi dan jumlah operasi Multiply-Accumulate (MAC) per lapisan. Tujuannya adalah menyeimbangkan beban kerja: setiap chip harus menangani jumlah MAC yang dapat dibandingkan dan volume data yang serupa. Jika satu chip memproses sebagian besar pekerjaan sementara yang lain menganggur, throughput keseluruhan dibatasi oleh unit yang lebih lambat.
Selain itu, titik potong dalam model menentukan data yang harus ditransfer di antara chip. Memilih split di mana ukuran aktivasi minimal mengurangi persyaratan bandwidth inter-chip dan latensi, mencegah taut komunikasi menjadi hambatan performa.
Contoh Ilustratif: YOLOv3 pada Dua vs. Empat Chip
Untuk YOLOv3 yang berjalan pada gambar 2-megapixel menggunakan algoritma konvolusi Winograd, operasi MAC kumulatif dan ukuran output aktivasi diilustrasikan di bawah. Konfigurasi dua chip biasanya membagi beban kerja dekat dengan markah 50% MAC, menghasilkan ~1–2 MB aktivasi yang diteruskan di antara chip. Pengaturan empat chip akan menempatkan potong pada sekitar 25%, 50%, dan 75%, dengan potong awal sering memerlukan transfer data 4–8 MB.
Klik di sini untuk gambar lebih besar
Ukuran output aktivasi (batang biru) dan operasi MAC kumulatif (garis merah) untuk YOLOv3/Winograd/gambar 2-megapixel, menggambarkan distribusi beban kerja di antara beberapa chip (Gambar: Flex Logix)
Memanfaatkan Alat Pemodelan Performa
Alat performa modern sekarang dapat memodelkan konfigurasi satu chip dan multi-chip. Mereka memperhitungkan jumlah MAC per lapisan, ukuran aktivasi, dan dampak bandwidth transfer data. Pemodelan yang akurat sangat penting karena bandwidth inter-chip yang tidak mencukupi dapat membatalkan kecepatan teoretis.
Untuk pipeline empat chip, permintaan bandwidth meningkat karena lapisan awal—di mana aktivasi terbesar—harus dibagikan di antara semua unit. Sementara bandwidth yang lebih tinggi mendukung lebih banyak chip, ini juga menambah overhead yang harus ditanggung setiap chip, bahkan jika diterapkan secara individu.
Kesimpulan
Penerapan beberapa chip inferensi dapat membuka peningkatan performa yang signifikan, tetapi hanya ketika jaringan saraf dipartisi secara cerdas dan arsitektur chip yang dipilih mendukung utilisasi MAC tinggi dan pergerakan data yang efisien. Prioritaskan throughput di atas headline benchmark seperti TOPS atau skor ResNet-50, dan desain jaringan untuk mencocokkan kekuatan chip. Dengan strategi yang tepat, Anda dapat mengubah pipeline inferensi satu jalur menjadi sistem dengan kapasitas tinggi dan latensi rendah.
