Grup teknik berupaya mendorong AI 1mW ke ujung tombak

Saat grup TinyML baru-baru ini mengadakan pertemuan perdananya, para anggota harus menjawab sejumlah pertanyaan mendasar, dimulai dengan:Apa itu TinyML?

TinyML adalah komunitas insinyur yang berfokus pada cara terbaik untuk menerapkan pembelajaran mesin (ML) dalam sistem daya sangat rendah. Pertemuan bulanan pertama mereka didedikasikan untuk mendefinisikan masalah. Apakah pembelajaran mesin dapat dicapai untuk perangkat berdaya rendah seperti mikrokontroler? Dan apakah pemroses machine learning berdaya ultra-rendah spesialis diperlukan?

Evgeni Gousev dari Qualcomm AI Research mendefinisikan TinyML sebagai pendekatan pembelajaran mesin (ML) yang menggunakan 1mW atau lebih rendah. Gousev mengatakan bahwa 1mW adalah “angka ajaib” untuk aplikasi yang selalu aktif di ponsel cerdas.

“Ada banyak pembicaraan tentang cloud ML, sementara ML di level smartphone semakin canggih,” katanya. “Tapi kalau dilihat datanya, 90 persen datanya ada di dunia nyata. Bagaimana Anda menghubungkan semua kamera, IMU, dan sensor lainnya ini dan melakukan ML pada level itu?”

“Tiny ML akan menjadi besar, dan ada kebutuhan mendesak yang nyata untuk mendorong seluruh ekosistem ML kecil, termasuk aplikasi, perangkat lunak, alat, algoritme, perangkat keras, ASIC, perangkat, fab, dan yang lainnya,” kata Gousev .

Teknisi Google Nat Jefferies hadir di pertemuan TinyML pertama (Gambar:TinyML)

TensorFlow Lite

Insinyur Google Daniel Situnayake mempresentasikan ringkasan TensorFlow Lite, versi framework TensorFlow Google yang dirancang untuk perangkat edge termasuk mikrokontroler.

“TensorFlow Lite telah menargetkan ponsel, tetapi kami senang menjalankannya di perangkat yang lebih kecil lagi,” katanya.

Setelah membuat model di TensorFlow, teknisi dapat menjalankannya melalui konverter Tensor Flow Lite, yang “membuatnya lebih kecil dan melakukan hal-hal seperti kuantisasi, yang memungkinkan Anda mengurangi ukuran dan presisi model hingga skala yang pas dengan nyaman di perangkat yang Anda targetkan,” katanya.

Situnayake menjelaskan salah satu teknik yang dapat digunakan untuk meningkatkan efisiensi daya, yang melibatkan model rantai bersama-sama.

“Bayangkan model pengklasifikasi bertingkat di mana Anda memiliki model daya yang sangat rendah yang hampir tidak menggunakan daya apa pun untuk mendeteksi apakah ada suara yang terjadi, lalu model lain yang membutuhkan lebih banyak energi untuk dijalankan, yang mengetahui apakah itu suara manusia atau bukan,” dia menjelaskan. “Kemudian jaringan yang lebih dalam yang hanya bangun ketika kondisi ini terpenuhi, yang menggunakan lebih banyak daya dan sumber daya. Dengan menggabungkan ini bersama-sama, Anda hanya membangunkan [intensif energi] saat Anda membutuhkannya, sehingga Anda dapat melakukan penghematan besar pada efisiensi energi.”

Model pembelajaran mesin bertingkat dapat membantu menghemat daya (Gambar:Google)

Nat Jefferies, seorang insinyur di tim Google 'TensorFlow Lite untuk mikrokontroler', menggambarkan tren persyaratan konsumsi energi yang ketat di gadget konsumen modern, meskipun ada fitur canggih dan sistem sensor yang canggih. Gadget ini dapat berjalan dengan baterai yang perlu bertahan berbulan-bulan atau bertahun-tahun, atau menggunakan pemanenan energi.

“Kami pikir solusi terbaik untuk ini adalah Tiny ML — pembelajaran mendalam tentang mikrokontroler,” katanya. “Ini memungkinkan kami untuk melakukan siklus CPU dan pembacaan sensor, yang [tidak memakan banyak daya], sebagai lawan mengirim semua informasi off-chip… TinyML dapat digunakan untuk menyingkat data sensor menjadi hanya beberapa byte, yang Anda kemudian dapat mengirim… hanya dengan sebagian kecil dari daya,” katanya.

Tantangan Google baru-baru ini di mana peserta mengembangkan model 250kbyte untuk melakukan deteksi orang menerima banyak kiriman yang mengesankan, dan "memvalidasi bahwa apa yang kami lakukan bermakna", kata Jefferies.

“Saat ini kami dapat mengecilkan model TensorFlow hingga ke titik di mana kami dapat memasangnya di mikrokontroler, dan itulah mengapa sekarang adalah waktu yang tepat untuk berada di area ini,” katanya. “Kami sangat bersemangat untuk memulai proses ini.”

Peta jalan Google untuk TensorFlow Lite pada mikrokontroler mencakup open-source beberapa demo Google, bekerja dengan vendor chip untuk mengoptimalkan kernel, mengoptimalkan penggunaan memori TensorFlow Lite untuk menjalankan model yang lebih canggih pada perangkat yang sama, dan memungkinkan lebih banyak platform pengembangan (SparkFun Edge adalah satu-satunya board didukung sejauh ini, tetapi dukungan board Arduino dan Mbed akan segera hadir).

Perangkat Spesialis
Mempresentasikan kasus untuk prosesor aplikasi berdaya rendah spesialis untuk ML adalah Martin Croome, VP Business Development, GreenWaves Technologies. Croome setuju bahwa diskusi industri tentang cara melanjutkan pembelajaran mesin berdaya sangat rendah sudah terlambat.

“Kami sangat membutuhkan lebih banyak fokus di bidang ini, baik dari perspektif algoritmik maupun dari dunia [perangkat keras] kami,” katanya.

GreenWaves telah mengembangkan prosesor aplikasi RISC-V, GAP8, yang berfokus pada inferensi di perangkat edge yang mengonsumsi daya miliWatt dan menawarkan arus siaga sangat rendah. Perusahaan ini menargetkan perangkat yang dioperasikan dengan baterai serta perangkat yang menggunakan pemanen energi (baca selengkapnya tentang cara kerja chip GreenWaves di artikel kami sebelumnya).

Akselerator pembelajaran mesin berdaya sangat rendah GreenWaves memiliki sembilan inti RISC-V (Gambar:GreenWaves Technologies)

Berbagai teknik digunakan untuk menjaga konsumsi daya tetap rendah. Ini termasuk paralelisasi, meskipun tidak untuk mempercepat; 8 core digunakan untuk memungkinkan kecepatan clock yang lebih lambat, yang memungkinkan tegangan inti turun, yang menghemat energi (dalam praktiknya, frekuensi clock disesuaikan secara dinamis, bergantung pada beban kerja).

Chip ini diarahkan ke jaringan saraf convolutional (CNNs), dengan akselerator perangkat keras yang melakukan konvolusi 5x5 pada data 16-bit dalam satu siklus clock (tidak termasuk write back). Manajemen memori eksplisit bergantung pada sifat CNN, yang banyak digunakan untuk pemrosesan gambar; sensor gambar berukuran tetap, inferensi membutuhkan jumlah bobot yang sama, dan hasilnya selalu berukuran sama. Oleh karena itu, sebuah alat dapat menghasilkan kode untuk semua pergerakan data pada waktu kompilasi.

Croome mengakui bahwa cukup berspesialisasi untuk memproses beban kerja ML secara efektif sambil mempertahankan fleksibilitas yang cukup untuk merespons kemajuan teknologi adalah keseimbangan yang rumit.

“Cakupan AI bergerak maju dengan kecepatan yang luar biasa cepat. Ide bagus hari ini tentang bagaimana melakukan sesuatu mungkin bukan ide bagus besok,” kata Croome. “Jika kami terlalu berspesialisasi, kami akan sangat hebat dalam mempercepat apa yang dilakukan semua orang tahun lalu, yang tidak baik untuk perusahaan. Jadi kami mencoba menyeimbangkan perbedaan antara fleksibilitas, kemampuan program, dan akselerasi.”

Chip GreenWaves telah diambil sampelnya selama satu tahun, produksi akan dimulai bulan ini, dan akan dikirim dalam volume ke pelanggan pada akhir Q3, kata Croome.

Pertemuan TinyML diadakan pada hari Kamis terakhir setiap bulan di Bay Area dan terbuka untuk peserta dari industri dan akademisi.