TinyML: Insinyur Bersatu untuk Standarisasi AI pada Sistem Ultra-Rendah Daya
SUNNYVALE, Calif. – Hampir 200 insinyur dan peneliti berkumpul untuk meluncurkan komunitas yang didedikasikan untuk memajukan TinyML, bidang baru yang membawa deep learning ke sistem ultra-rendah daya.
“Tidak ada kekurangan ide inovatif,” kata Ian Bratt, machine-learning fellow di Arm, membuka sesi.
Empat tahun yang lalu, kemajuan telah melanda. Kedatangan format floating-point baru dan teknik kompresi telah mehidupkan kembali kegembiraan, namun kesenjangan yang signifikan masih ada antara penelitian modern dan solusi yang komersial terjamin, jelas Bratt.
Ekosistem perangkat lunak terasa seperti wild west—terfragmentasi dan didominasi oleh raksasa korporasi seperti Amazon, Google, dan Facebook, masing-masing mendorong framework mereka sendiri. Tantangan bagi insinyur perangkat keras adalah untuk menyampaikan produk yang dapat digunakan secara luas, katanya.
Seorang insinyur dari STMicroelectronics menyampaikan perasaan serupa. “Saya baru menyadari bahwa ada setidaknya empat compiler AI, dan chip generasi depan akan berada di luar toolkit desainer terintegrasi tradisional. Menstabilkan antarmuka perangkat lunak dan berinvestasi dalam interoperabilitas—melalui komite standar—adalah esensial,” katanya.
Pete Warden, co-chair kelompok TinyML dan technical lead untuk TensorFlow Lite, memperingatkan bahwa standar perangkat lunak mungkin masih terlalu awal. “Peneliti selalu merevisi operasi, arsitektur, bobot, kompresi, format, dan kuantisasi. Semantik dalam fluks, dan kita harus tetap mengikuti,” katanya.
Warden menambahkan bahwa selama beberapa tahun ke depan, akselerator yang tidak dapat mengeksekusi komputasi umum untuk mendukung operasi atau fungsi aktivasi baru akan usang. Dua tahun dari sekarang, operasi baru mungkin akan muncul, katanya memperingatkan.
Seorang peneliti AI Microsoft setuju. “Kami masih jauh dari tempat yang seharusnya, dan kita tidak akan sampai sana dalam satu atau dua tahun. Ini adalah alasan Microsoft berinvestasi pada FPGA untuk mempercepat layanan cloud Azure,” katanya. “Membangun lapisan abstraksi yang tepat adalah krusial untuk inovasi perangkat keras. Akselerator perangkat keras open-source dapat mempercepat kemajuan,” katanya.
Bratt mengusulkan bahwa standar kepatuhan mungkin merupakan langkah pertama, memastikan peneliti memiliki pengalaman edge-cloud yang konsisten, katanya.
Profesor Princeton Naveen Verma, yang karyanya berfokus pada prosesor AI-in-memory, menekankan kebutuhan akan spesifikasi fungsional yang kuat di setiap tingkat. “Jika kita dapat menentukan spesifikasi yang jelas pada tingkat yang cukup, itu akan membuka jalur ke lapisan lain, dan komunitas ini secara unik diposisikan untuk menentukannya,” katanya.
