Edge AI Mencetak Momentum: Pemimpin Cloud AWS dan Microsoft Tunjukkan Solusi Inferensi dan Manajemen Terintegrasi

Menerapkan AI langsung pada perangkat edge memberikan respons instan dan mengurangi biaya pengiriman aliran data besar ke cloud. Kemajuan hardware terbaru—akselerator ML khusus, mikrokontroler yang kuat, dan model yang disempurnakan—memungkinkan inferensi yang lebih kaya dalam batasan daya yang ketat. Namun, meskipun pipeline sepenuhnya lokal masih mendapatkan manfaat dari manajemen perangkat berbasis cloud, pelatihan model berkelanjutan, dan mekanisme pembaruan yang aman.

AWS IoT

Di Embedded World Digital 2021, AWS dan Microsoft menyoroti bagaimana ekosistem mereka mendukung edge AI. Rajeev Muralidhar, Principal Specialist Solutions Architect AWS, menjelaskan bahwa meski menjalankan model ML TensorFlow Lite atau lainnya pada perangkat adalah satu kemampuan, keuntungan sebenarnya terletak pada mengelola seluruh siklus hidup perangkat secara aman dan dalam skala besar. Ia menekankan pentingnya meluncurkan pembaruan firmware dan model yang menjaga armada tetap terbaru dan aman.

AWS menyediakan kemampuan ini melalui platform AWS IoT, yang terdiri dari tiga komponen inti: perangkat lunak sisi perangkat (FreeRTOS atau AWS Greengrass), layanan kontrol dan konektivitas (AWS IoT Core), dan layanan analitik dan berbasis event.

AWS menyediakan dukungan komprehensif untuk perangkat edge AI melalui platform IoT-nya (Gambar: AWS)

FreeRTOS adalah sistem operasi open-source yang dirancang untuk mikrokontroler dan didukung oleh program dukungan jangka panjang (LTS) dua tahun yang menjamin patch keamanan, upgrade fitur, dan perbaikan bug. Kerangka pembaruan OTA-nya memungkinkan operator untuk mendorong perubahan firmware ke ribuan perangkat secara aman dan dalam skala besar. Kernel FreeRTOS dapat berkomunikasi langsung dengan gateway yang menjalankan AWS Greengrass, menciptakan jembatan yang mulus antara inferensi lokal dan layanan cloud.

AWS IoT Core berfungsi sebagai titik entri untuk data yang mengalir ke cloud. Ia menyediakan message broker yang dapat memberlakukan aturan pada data masuk—menyimpan, merute ke database, atau mengirimkannya ke alat analitik seperti SageMaker untuk machine learning. Platform ini juga menawarkan alat manajemen armada, kemampuan manajemen perangkat, dan otomatisasi berbasis event yang mendeteksi anomali dan memicu respons di seluruh jaringan besar titik ujung IoT.

Muralidhar menyoroti bahwa manajemen siklus hidup perangkat end-to-end yang aman esensial saat beroperasi dalam skala besar. Memutar ulang kredensial keamanan dan menerapkan pembaruan sistem operasi tanpa mengorbankan integritas armada adalah kunci untuk memelihara ekosistem yang terpercaya.

Ia membayangkan loop berkelanjutan di mana data yang dikirim ke cloud digunakan untuk penyempurnaan model, setelah itu model yang lebih baru dan lebih akurat ditarik kembali ke perangkat. “Dengan cara itu, perangkat yang berjalan di kendaraan atau di lantai produksi lebih mampu dan dapat bereaksi lebih cepat dan lebih akurat,” katanya.

Azure Percept

Azure Percept Microsoft adalah platform hardware dan perangkat lunak yang dirancang untuk membuat edge AI dapat diakses oleh pengembang tanpa spesialisasi mendalam. Sistem memanfaatkan layanan cloud Azure untuk manajemen perangkat, pengembangan model, dan analitik, sambil menyediakan modul hardware built-in yang menyertakan akselerator AI canggih.

Platform Azure Percept Microsoft menggabungkan modul hardware—termasuk Trusted Platform Module, modul audio, dan modul visi—dengan layanan cloud yang didukung Azure (Gambar: Microsoft)

Development kit saat ini menampilkan modul Azure Percept Vision, yang menggunakan akselerator Intel Movidius Myriad X untuk beban kerja computer vision, dan modul Azure Percept Audio, detailnya akan diumumkan nanti. Modul visi dirancang untuk menyederhanakan pelatihan, penerapan, dan manajemen model AI secara langsung di edge.

Microsoft juga mengaitkan platform dengan Azure IoT Hub, memastikan komunikasi dua arah yang aman antara perangkat dan cloud. Rencana masa depan meliputi memperluas jangkauan perangkat pihak ketiga yang disertifikasi Percept, memungkinkan pengembang untuk memindahkan solusi dari development kit ke hardware yang siap produksi.

>> Artikel ini awalnya diterbitkan di situs saudara kami, EE Times Europe.