Manufaktur industri
Industri Internet of Things | bahan industri | Pemeliharaan dan Perbaikan Peralatan | Pemrograman industri |
home  MfgRobots >> Manufaktur industri >  >> Industrial Internet of Things >> Tertanam

Chip AI Presisi Rendah Baru IBM Capai 25,6 TFLOPS Pelatihan dan 102,4 TOPS Inferensi

Pada ISSCC 2024, IBM Research memperkenalkan prototipe 7 nm yang merupakan tahun-tahun kerja pada pelatihan dan inferensi AI presisi rendah. Chip ini menyediakan pelatihan 16-bit dan 8-bit, serta inferensi 4-bit dan 2-bit—di bawah norma industri pelatihan 32-bit / inferensi 8-bit.

Menurunkan presisi numerik memotong kebutuhan komputasi dan daya, tetapi IBM juga memperkenalkan beberapa optimasi arsitektur yang meningkatkan efisiensi lebih lanjut. Tantangan utamanya adalah mengurangi presisi tanpa merusak akurasi—suatu masalah yang IBM tangani dari tingkat algoritmik selama bertahun-tahun.

AI Hardware Center IBM, yang diluncurkan pada 2019, bertujuan meningkatkan performa komputasi AI sebesar 2,5× setiap tahun, menargetkan peningkatan 1.000× dalam FLOPS/W pada 2029. Tujuan ambisius ini didorong oleh pertumbuhan meletup model AI—terutama sistem NLP triliunan parameter—dan jejak karbon yang semakin besar dari pelatihan mereka.

Pada prototipe, chip 4-core mencapai 25,6 TFLOPS untuk pelatihan 8-bit, sambil menyampaikan 102,4 TOPS untuk inferensi integer 4-bit (keduanya diukur pada 1,6 GHz dan 0,75 V). Menurunkan jam ke 1 GHz dan tegangan ke 0,55 V meningkatkan efisiensi daya menjadi 3,5 TFLOPS/W (FP8) atau 16,5 TOPS/W (INT4).

Chip AI Presisi Rendah Baru IBM Capai 25,6 TFLOPS Pelatihan dan 102,4 TOPS Inferensi
Performa chip uji IBM Research (Gambar: IBM Research) **Performa yang dilaporkan pada 0% sparsity. (1) FP8. (4) INT4.

Pelatihan Presisi Rendah

Performa ini dibangun berdasarkan bertahun-tahun kerja algoritmik pada teknik pelatihan dan inferensi presisi rendah. Chip ini adalah yang pertama mendukung format FP8 hibrid IBM, yang diperkenalkan pada NeurIPS 2019, yang memungkinkan pelatihan 8-bit sambil membagi dua komputasi pelatihan 16-bit tanpa mengorbankan hasil.

Chip AI Presisi Rendah Baru IBM Capai 25,6 TFLOPS Pelatihan dan 102,4 TOPS Inferensi
IBM Research telah bekerja pada pemecahan masalah mempertahankan akurasi sambil mengurangi presisi (Gambar: IBM)

“Pelatihan presisi rendah adalah tantangan, tetapi pelatihan 8-bit dapat dicapai dengan format angka yang tepat,” kata Kailash Gopalakrishnan, IBM Fellow dan senior manager untuk arsitektur akselerator dan pembelajaran mesin. “Format numerik yang tepat, diterapkan pada tensor yang benar, adalah kritis.”

FP8 hibrid menggabungkan dua format: satu untuk bobot dan aktivasi dalam lus maju, dan yang lain untuk gradien dalam lus mundur. Pelatihan memerlukan kedua lus, sedangkan inferensi hanya menggunakan format maju.

“Kami menemukan bahwa tensor maju membutuhkan fidelitas yang lebih tinggi—lebih presisi dalam mantissa—sedangkan gradien membutuhkan rentang dinamis yang lebih luas dengan eksponen yang lebih besar. Trade-off ini menyebabkan pembagian 1-4-3 (sign-exponent-mantissa) untuk maju dan eksponen 5-bit untuk mundur, memberikan rentang dinamis 232. Hardware kami sekarang mendukung kedua varian.”

Akumulasi Hierarkis

Teknik “akumulasi hierarkis” IBM mengurangi presisi selama akumulasi bersama bobot dan aktivasi. Pelatihan FP16 tradisional mengakumulasi dalam aritmatika 32-bit untuk mempertahankan akurasi, tetapi skema 8-bit mengakumulasi dalam FP16. Dengan mengelompokkan akumulasi panjang menjadi potongan yang lebih kecil dan menjumlahkannya, chip meminimalkan kesalahan pembulatan tanpa mengorbankan manfaat presisi lebih rendah.

“Menambahkan ribuan angka secara berurutan dapat menurunkan presisi,” jelas Gopalakrishnan. “Pengelompokan akumulasi menjaga jumlah tetap akurat sambil menjaga hardware tetap ringan.”

Inferensi Presisi Rendah

Sementara sebagian besar mesin inferensi menggunakan INT8, IBM menunjukkan bahwa aritmatika integer 4-bit dapat mencocokkan akurasi state-of-the-art. Setelah kuantisasi, langkah pelatihan sadar kuantisasi mengurangi kehilangan akurasi menjadi kurang dari 0,5 %, yang dapat diterima untuk banyak aplikasi.

Cincin On-Chip

Chip ini mengintegrasikan jaringan-on-chip yang dioptimalkan untuk deep learning, memungkinkan core untuk multicast data secara efisien. Ini mengurangi lalu lintas memori luar-chip dan kebutuhan bandwidth.

“Kami memisahkan frekvensi operasi cincin dari core, yang memungkinkan optimasi independensi dan kecepatan core yang lebih tinggi tanpa latensi kabel panjang cincin,” kata Ankur Agrawal, staf peneliti dalam pembelajaran mesin dan arsitektur akselerator.

Manajemen Daya

IBM memperkenalkan skema penskalaan frekvensi yang menjaga chip tetap di dekat envelop dayanya selama beban kerja. Dengan menetapkan tegangan dan frekvensi awal secara agresif, chip menjaga performa tinggi selama fase komputasi berat dan menyesuaikan dengan permintaan yang lebih rendah tanpa perubahan tegangan yang mahal.

“Beban kerja deep learning memiliki puncak dan lembah daya yang berbeda,” kata Agrawal. “Strategi kami menjaga konsumsi daya tetap stabil, mengubah lembah menjadi keuntungan performa.”

Chip Uji

Desain 4-core menyeimbangkan kompleksitas konektivitas dengan ukuran core, menawarkan arsitektur yang dapat diskalakan. IBM memperkirakan chip 1-2 core untuk perangkat edge dan chip 32-64 core untuk penerapan data-center, semuanya mampu FP16, FP8 hibrid, INT4, dan INT2.

“Berbagai domain aplikasi membutuhkan trade-off presisi dan daya yang berbeda,” kata Gopalakrishnan. “Satu format serbaguna kami memungkinkan kami menargetkan setiap kasus penggunaan tanpa mengorbankan efisiensi.”

Melengkapi hardware, IBM Research merilis tumpukan kompiler “Deep Tools,” mencapai utilizasi 60–90 % pada chip.

Menurut wawancara sebelumnya, chip AI presisi rendah berdasarkan arsitektur ini seharusnya mencapai pasar dalam dua tahun.

>> Artikel ini awalnya dipubliker di situs kami yang serupa, EE Times.


Konten Terkait:

Untuk lebih banyak Embedded, langganan newsletter email harian Embedded.

Tertanam

  1. Pilihan Desain Bluetooth Mesh: Modul vs. Perangkat Diskrit
  2. Inovasi MIT: Chip ID Kriptografis 1,6 mm² dengan Backscatter Terahertz Mencegah Palsu
  3. Mengelola Pemeliharaan di Tengah Pemangkasan Tenaga Kerja: Outsourcing Strategis dan Pemantauan Berkelanjutan
  4. Rockwell Automation Bekerja Sama dengan ATCC untuk Memperluas Pelatihan Automasi di Seluruh Minnesota Tengah
  5. Peneliti Ungkap BrakTooth: 16 Kerentanan Bluetooth Classic
  6. Bagaimana IBM Watson Mendorong Inovasi AI di Seluruh Industri
  7. Tingkatkan ROI Pemasaran Anda dengan Presisi Tingkat Agen
  8. Tingkatkan ROI Pemasaran Anda dengan Presisi Tingkat Agen
  9. IBM: Meningkatkan Keandalan dan Keselamatan Aset dengan Solusi EAM Proaktif
  10. Pemesinan Presisi: Membangun Sistem Hidraulik Unggul untuk Manufaktur dan Konstruksi