Penyedia cloud menyebutkan peran saat inferensi AI bergerak ke tepi

Melakukan inferensi AI pada perangkat edge yang disematkan menarik dalam situasi di mana latensi rendah diperlukan, atau di mana volume data yang dikumpulkan di edge akan terlalu mahal untuk dikirim ke cloud. Kemajuan dalam akselerator pembelajaran mesin khusus, mikrokontroler canggih, serta model dan perangkat lunak AI berarti lebih banyak inferensi AI dapat dilakukan dengan anggaran daya edge daripada sebelumnya. Namun, meskipun semua inferensi dilakukan di edge, cloud masih merupakan alat yang berguna untuk mengelola perangkat di lapangan, misalnya penyedia cloud.

AWS IoT

Di Embedded World Digital 2021, penyedia cloud AWS dan Microsoft mempresentasikan solusi ekosistem mereka untuk perangkat edge AI.

“Menjalankan TensorFlow Light atau model pembelajaran mesin pada perangkat itu sendiri adalah satu kemampuan,” kata Rajeev Muralidhar, arsitek solusi spesialis utama di AWS. “Tetapi kemampuan untuk membangun keseluruhan saluran untuk siklus hidup perangkat dengan cara yang aman, mengelolanya dalam skala besar, kemampuan untuk meluncurkan pemutakhiran formal pada perangkat sehingga Anda dapat mengelola versi yang berjalan di perangkat tersebut, menyediakan lebih banyak fitur, lebih aman, dan juga kemampuan untuk memperbarui model ML yang berjalan di sana – ini adalah kemampuan penting lainnya.”

AWS menyediakan infrastruktur untuk ini melalui platform AWS IoT-nya. Platform ini, kata Muralidhar, terdiri dari tiga bagian utama – perangkat lunak sisi perangkat (FreeRTOS atau AWS Greengrass), komponen kontrol dan konektivitas (AWS IoT Core), dan layanan analitik.

AWS menawarkan dukungan untuk perangkat edge AI melalui platform IoT-nya (Gambar:AWS)

FreeRTOS adalah sistem operasi open-source yang banyak digunakan untuk perangkat tingkat mikrokontroler. Muncul dengan dukungan jangka panjang (RTS), yang menjamin pembaruan keamanan, peningkatan fitur, dan perbaikan bug selama dua tahun. Itu juga dilengkapi dengan kemampuan untuk melakukan pembaruan melalui udara dengan aman, dan meluncurkan firmware ke perangkat dalam skala besar yang telah digunakan di lapangan. Kernel FreeRTOS dapat berbicara langsung ke gateway perangkat yang mungkin menjalankan AWS Greengrass.

AWS IoT Core adalah titik masuk untuk data ke cloud. Ini termasuk broker pesan yang dapat memberlakukan aturan pada data, apakah itu menyimpannya, atau memindahkannya ke database atau dasbor untuk analisis, seperti SageMaker untuk analisis pembelajaran mesin.

Platform AWS IoT juga memiliki komponen untuk manajemen armada skala besar, manajemen perangkat, dan analitik IoT, serta kemampuan manajemen peristiwa yang dapat mengotomatiskan deteksi dan respons terhadap peristiwa yang berasal dari perangkat IoT Anda.

“Manajemen siklus hidup perangkat end-to-end sangat penting ketika Anda memikirkan perangkat dalam skala besar, dan kemampuan untuk memperbarui sistem operasi yang mendasari perangkat tersebut juga penting,” kata Muralidhar. “Anda ingin dapat melakukannya dengan aman, Anda ingin dapat merotasi kredensial keamanan sehingga Anda tidak berkompromi dengan keamanan armada perangkat Anda.”

Situasi yang ideal adalah mengirimkan data yang masuk ke cloud sehingga dapat dilakukan evaluasi dan pelatihan secara berkelanjutan, kata Muralidhar.

“[Kemudian] ketika Anda memiliki model baru yang diperbarui yang lebih akurat, Anda dapat menariknya ke dalam perangkat, dan meluncurkannya ke seluruh armada perangkat Anda di lantai toko industri, atau armada kendaraan Anda yang terhubung,” katanya. “Dengan begitu, perangkat yang berjalan di kendaraan Anda lebih mampu, dan dapat bereaksi lebih cepat dan lebih akurat.”

Persepsi Biru

Pada acara tersebut, Microsoft juga memberikan presentasi tentang konsep Azure Percept yang baru. Azure Percept adalah platform perangkat keras dan perangkat lunak untuk edge AI yang memanfaatkan beberapa penawaran cloud Azure – termasuk manajemen perangkat, pengembangan model AI, dan analitik. Alat cloud Azure digunakan untuk mengelola perangkat, dan mengakses model AI sumber terbuka atau membuat yang baru.

Platform Azure Percept Microsoft adalah perangkat keras dan perangkat lunak. Perangkat keras termasuk Modul Platform Tepercaya (tengah), modul Azure Percept Audio (kiri) dan modul Azure Percept Vision (kanan) (Gambar:Microsoft)

Perusahaan juga meluncurkan perangkat pengembangan perangkat keras dengan dua modul. Modul Azure Percept Vision untuk computer vision di edge didasarkan pada akselerator Intel Movidius Myriad X AI. Ada juga modul Azure Percept Audio, tetapi tidak ada detail modul tersebut yang tersedia.

Dengan penawaran baru ini, Microsoft ingin memberikan solusi ujung ke ujung yang menurunkan hambatan masuk bagi non-spesialis. Idenya adalah untuk menyederhanakan pengembangan, pelatihan, dan penerapan edge AI.

Azure Percept juga terhubung ke Azure IoT Hub, yang dirancang untuk memfasilitasi komunikasi yang aman antara perangkat IoT dan cloud Azure.

Di masa depan, Microsoft berencana untuk memperluas jumlah perangkat Azure Percept yang tersedia dari pihak ketiga. Pengembang yang menggunakan perangkat pengembangan perangkat keras saat ini akan dapat menerapkan solusi mereka pada perangkat bersertifikasi Percept yang tersedia di pasar.

>> Artikel ini awalnya diterbitkan pada situs saudara kami, EE Times Europe.