Pin sistem berdaya sangat rendah yang diharapkan AI pada TinyML

SUNNYVALE, California – Sekelompok hampir 200 insinyur dan peneliti berkumpul di sini untuk membahas pembentukan komunitas guna mengembangkan pembelajaran mendalam dalam sistem daya ultra-rendah, bidang yang mereka sebut TinyML. Dalam presentasi dan dialog, mereka secara terbuka berjuang untuk menangani cabang bidang teknologi yang bergerak paling cepat dengan harapan memungkinkan sistem kelas baru.

“Tidak ada kekurangan ide-ide luar biasa,” kata Ian Bratt, seorang rekan dalam pembelajaran mesin di Arm, memulai diskusi.

“Empat tahun yang lalu, segala sesuatunya menjadi membosankan, dan kemudian pembelajaran mesin datang dengan format floating-point dan teknik kompresi baru—seperti menjadi muda kembali. Tetapi ada kekurangan besar cara untuk menggunakan ide-ide ini dalam sistem nyata untuk menghasilkan uang, ”kata Bratt.

“Ekosistem perangkat lunak benar-benar Barat liar. Ini sangat terfragmentasi, dan sedikit perampasan tanah dengan Amazon, Google, Facebook, dan lainnya semua mendorong kerangka kerja mereka… Jadi bagaimana seorang insinyur perangkat keras bisa mendapatkan sesuatu yang bisa digunakan banyak orang,” dia bertanya.

Seorang insinyur dari STMicroelectronics setuju.

“Saya baru menyadari setidaknya ada empat kompiler untuk AI, dan chip baru tidak akan digunakan oleh desainer tertanam tradisional. Jadi, kita perlu menstabilkan antarmuka software dan berinvestasi dalam interoperabilitas – komite standar harus bekerja pada antarmuka umum,” saran insinyur STM.

Mungkin terlalu dini untuk standar perangkat lunak, kata Pete Warden, ketua bersama grup TinyML dan pimpinan teknis TensorFlow Lite Google, kerangka kerja yang menargetkan lingkungan seluler dan tertanam.

“Kami menyalahkan para peneliti yang terus-menerus mengubah operasi dan arsitektur. Mereka masih menemukan hal-hal tentang bobot, kompresi, format, dan kuantisasi. Semantik terus berubah, dan kita harus mengikutinya,” kata Warden.

“Selama beberapa tahun ke depan, tidak ada masa depan bagi akselerator yang tidak menjalankan komputasi tujuan umum untuk menangani operasi baru atau fungsi aktivasi karena dua tahun dari sekarang kemungkinan orang akan membawa operasi yang berbeda ke meja,” tambahnya.

Seorang peneliti Microsoft AI setuju. “Kami sangat jauh dari tempat yang kami pikir seharusnya, dan kami tidak akan sampai di sana dalam satu atau dua tahun. Inilah alasan Microsoft berinvestasi dalam FPGA” untuk mempercepat layanan cloud Azure-nya. “Kita perlu membangun lapisan abstraksi yang tepat untuk memungkinkan inovasi perangkat keras…dan jika ada akselerator perangkat keras open source, itu mungkin membantu,” tambahnya.

“Mungkin standar kepatuhan adalah langkah pertama, jadi peneliti mendapatkan pengalaman yang sama di edge seperti di cloud,” saran Bratt of Arm.

“Kami membutuhkan spesifikasi fungsional yang kuat untuk level apa pun yang Anda tinggali. Jika kami memilikinya pada level yang cukup, itu akan memberi orang titik masuk ke lapisan lain, dan grup ini adalah yang terbaik untuk mengatasi mendefinisikannya,” kata Naveen Verma, seorang Profesor Princeton yang penelitiannya berfokus pada prosesor AI dalam memori.