Komunitas TinyML Sasaran AI 1-mW untuk Perangkat Edge

Ketika kelompok TinyML mengadakan pertemuan pertama mereka, agenda utama adalah pertanyaan sederhana: Apa sebenarnya TinyML?

TinyML adalah komunitas insinyur yang didedikasikan untuk membuat machine learning (ML) berjalan pada perangkat ultra-hemat daya. Pertemuan awal difokuskan pada apakah ML dapat diimplementasikan pada mikrokontroler dan apakah prosesor ML hemat daya khusus diperlukan.

Evgeni Gousev dari Qualcomm AI Research mendefinisikan TinyML sebagai teknik ML yang mengkonsumsi 1 mW atau lebih rendah. Dia menyebut 1 mW sebagai “angka ajaib” untuk aplikasi selalu nyala di smartphone.

“Sementara ML cloud mendominasi obrolan, ML pada perangkat menjadi semakin canggih,” katanya Gousev. “Tetapi 90 persen data berasal dari dunia nyata. Bagaimana kita menggabungkan semua kamera, IMU, dan sensor lainnya dan menjalankan ML secara lokal?”

“TinyML akan menjadi besar, dan ada kebutuhan mendesak untuk membangun seluruh ekosistem—aplikasi, perangkat lunak, alat, algoritma, perangkat keras, ASIC, perangkat, pabrik, dan lainnya,” katanya Gousev.

Insinyur Google Nat Jefferies mempresentasikan di pertemuan TinyML pertama (Gambar: TinyML)

TensorFlow Lite

Insinyur Google Daniel Situnayake memperkenalkan TensorFlow Lite, versi ringan TensorFlow yang disesuaikan untuk perangkat edge, termasuk mikrokontroler.

“TensorFlow Lite telah melayani ponsel seluler selama bertahun-tahun, dan sekarang kami senang membawa ke perangkat yang lebih kecil,” katanya.

Setelah melatih model dalam TensorFlow, insinyur mengonversinya ke TensorFlow Lite, yang menyusutkan model, menerapkan kuantisasi, dan mengoptimalkan secara lainnya agar muat dengan nyaman pada perangkat keras target.

Salah satu strategi penghematan daya yang dijelaskannya adalah merantai model bersama-sama.

“Bayangkan kaskade klasifikasi: model kecil dan hemat daya terlebih dahulu mendeteksi apakah ada suara, kemudian model sedikit lebih besar menentukan apakah itu ucapan manusia, dan akhirnya jaringan yang lebih dalam hanya aktif ketika kondisi tersebut terpenuhi,” jelas Situnayake. “Dengan membangun model yang intensif energi hanya saat diperlukan, kita mencapai penghematan daya yang besar.”

Merantai model machine learning dapat membantu menghemat daya (Gambar: Google)

Nat Jefferies, anggota tim “TensorFlow Lite for microcontrollers” Google, menyoroti permintaan yang tumbuh untuk anggaran daya yang ketat di perangkat konsumen yang menampilkan sensor canggih tetapi masih bergantung pada baterai yang tahan lama atau penambahan energi.

“TinyML—deep learning pada mikrokontroler—adalah kunci,” katanya. “Ia memungkinkan kita memproses data sensor secara lokal dengan siklus CPU minimal dan pembacaan sensor, menghindari biaya energi transmisi luar-chip. TinyML dapat menyaring data sensor mentah menjadi beberapa byte, lalu hanya mentransmisikan payload yang dikompresi itu.”

Dia menyebut tantangan Google terbaru yang menarik kiriman yang mengesankan untuk model 250 kB yang mampu mendeteksi orang, mengonfirmasi kelayakan pendekatan ini.

“Kita sekarang dapat menyusutkan model TensorFlow hingga titik di mana mereka muat pada mikrokontroler, membuat ini momen yang tepat untuk melangkah ke ruang ini,” kesimpulannya Jefferies.

Peta jalan Google untuk TensorFlow Lite pada mikrokontroler termasuk open-sourcing proyek demo, bekerjasama dengan vendor chip untuk mengoptimalkan kernel, mengurangi penggunaan memori untuk menjalankan model yang lebih kompleks, dan memperluas dukungan platform—SparkFun Edge adalah papan pertama, dengan dukungan Arduino dan Mbed di horizon.

Perangkat Khusus

Martin Croome, VP Business Development di GreenWaves Technologies, memberikan alasan untuk prosesor ML hemat daya khusus.

“Kita perlu fokus yang lebih jelas pada ML ultra-hemat daya dari sudut pandang algoritma dan perangkat keras,” katanya Croome.

Prosesor aplikasi RISC-V GreenWaves, GAP8, menargetkan inferensi di perangkat edge dengan konsumsi daya mili-watt dan arus standby ultra-rendah. Chip ini dirancang untuk perangkat yang dioperasikan baterai dan yang melakukan penambahan energi.

Akselerator machine learning ultra-hemat daya GreenWaves memiliki sembilan inti RISC-V (Gambar: GreenWaves Technologies)

Untuk menjaga konsumsi tetap rendah, GAP8 menggunakan paralelisme bukan untuk kecepatan tetapi untuk memungkinkan frekuensi dan tegangan clock yang lebih rendah. Akselerator perangkat keras chip dapat melakukan konvolusi 5×5 pada data 16-bit dalam satu siklus. Karena jaringan saraf konvolusional (CNN) menggunakan input dan bobot ukuran tetap, manajemen memori dapat ditentukan pada waktu kompilasi, lebih mengurangi overhead runtime.

Menyeimbangkan spesialisasi dengan fleksibilitas adalah tantangan. “AI berevolusi dengan cepat. Yang canggih hari ini mungkin usang besok,” peringatan Croome. “Kita harus menghindari spesialisasi berlebihan, sehingga kita tetap tangkas dan dapat beradaptasi dengan inovasi masa depan.”

GAP8 telah dalam sampling selama setahun; produksi akan dimulai bulan ini, dengan pengiriman volume dijadwalkan pada akhir Q3.

Pertemuan TinyML diadakan pada Kamis terakhir setiap bulan di Bay Area dan menyambut peserta dari industri dan akademi.