Merevolusi Visi Mesin:Bagaimana Sensor Peristiwa Mendorong Pemrosesan Gambar Lebih Cepat dan Cerdas

Lonjakan konten yang dihasilkan oleh kamera, di sektor konsumen dan industri, telah membebani kapasitas mesin untuk memperoleh, memproses, dan memanfaatkan data visual secara efektif dengan cara yang praktis dan efisien. Tantangan yang dihadapi saat ini meliputi:banyaknya data yang dikumpulkan (kebanyakan tidak relevan untuk mesin); kemampuan pemrosesan yang tidak memadai (terutama dalam aplikasi yang dibatasi oleh ukuran dan kekuatan):dan permintaan untuk pemrosesan waktu nyata. Oleh karena itu, pengembang sistem yang mendukung penglihatan — mulai dari ponsel cerdas, perangkat yang dapat dikenakan, rumah pintar, IoT, sistem, teknologi otomotif hingga peralatan otomasi industri — mencari cara untuk mengubah pendekatan tradisional terhadap penginderaan penglihatan dan akuisisi data.

Bermula dari penyediaan gambar untuk konsumsi manusia, kemajuan teknologi kamera sepanjang sejarahnya – terutama mengandalkan metode berbasis bingkai – terbukti tidak memadai dalam memenuhi persyaratan visi mesin modern. Selama bertahun-tahun, visi mesin bergantung pada informasi visual yang diperoleh dan disusun untuk interpretasi manusia:aliran video yang terdiri dari gambar berurutan yang ditangkap oleh sensor gambar. Setiap gambar mewakili snapshot statis pada saat tertentu yang tidak memiliki informasi dinamis. Metode pengumpulan data visual ini lazim di sebagian besar sistem visi mesin yang dirancang untuk memantau perubahan dan pergerakan dalam lingkungan dinamis.

Dengan memanfaatkan teknik neuromorfik yang terinspirasi oleh sistem penglihatan manusia, pendekatan visi berbasis peristiwa berupaya meningkatkan efisiensi dan kinerja dalam berbagai sistem yang mendukung penglihatan di sektor konsumen, industri, otomotif, dan sektor lainnya untuk meningkatkan keselamatan, produktivitas, dan pengalaman pengguna. (Gambar:Nubuatan)

Tantangan utama muncul ketika ada pergerakan atau perubahan dalam suatu adegan, yang umum terjadi pada sebagian besar aplikasi visi mesin, dan keterbatasan yang melekat pada perolehan bingkai visual menjadi jelas. Terlepas dari kecepatan bingkai yang ditetapkan, jika kamera mencoba menangkap pemandangan bergerak, hasilnya akan selalu tidak akurat. Karena bagian pemandangan yang berbeda biasanya menunjukkan dinamika yang berbeda-beda secara bersamaan, penggunaan laju pengambilan sampel tunggal untuk mengatur paparan piksel di seluruh rangkaian pencitraan pasti akan menghasilkan tangkapan yang tidak memadai atas beragam dinamika pemandangan yang terjadi secara bersamaan.

Lebih Sedikit Lebih Banyak Saat Merasakan Peristiwa

Tantangan ini diperparah dengan permasalahan yang ada pada sensor gambar tradisional, yaitu lambat dan boros energi, serta menghasilkan data redundan yang berlebihan dan memiliki rentang dinamis yang terbatas, sehingga tidak cocok untuk tugas-tugas visi mesin, khususnya dalam lingkungan pengoperasian yang menuntut. Oleh karena itu, sistem visi berbasis peristiwa “neuromorfik” yang terinspirasi secara biologis kini muncul sebagai alternatif yang menawarkan peningkatan kecepatan, latensi minimal, efisiensi daya yang lebih baik, dan rentang dinamis yang lebih luas yang dapat memenuhi berbagai aplikasi visi mesin dengan baik.

Visi berbasis peristiwa menandai perubahan paradigma dalam cara informasi visual diperoleh dan diproses untuk penggunaan visi mesin modern. Dengan memanfaatkan teknik neuromorfik yang terinspirasi oleh sistem penglihatan manusia, pendekatan ini berupaya meningkatkan efisiensi dan kinerja dalam berbagai sistem yang mendukung penglihatan di sektor konsumen, industri, otomotif, dan lainnya untuk meningkatkan keselamatan, produktivitas, dan pengalaman pengguna.

Penglihatan berbasis peristiwa beroperasi secara berbeda dari kamera tradisional karena merupakan penyimpangan dari tingkat akuisisi yang seragam untuk semua piksel. Sebaliknya, setiap piksel secara independen menentukan waktu pengambilan sampelnya berdasarkan perubahan insiden cahaya berkat kecerdasan khusus per piksel. Informasi deteksi kontras dikemas dalam 'peristiwa', yang terdiri dari koordinat x,y piksel dan waktu pembuatan peristiwa yang tepat. Misalnya, dengan sensor berbasis peristiwa yang dipatenkan Prophesee, piksel aktif secara cerdas saat mendeteksi perubahan kontras (gerakan), sehingga memfasilitasi pengambilan detail gerakan penting secara terus-menerus pada tingkat piksel.

Perbedaan perpindahan dari frame rate tetap adalah bagaimana setiap piksel dapat menyesuaikan laju pengambilan sampelnya sesuai dengan masukan visualnya. Pendekatan yang dipersonalisasi ini memungkinkan setiap piksel menentukan titik pengambilan sampelnya dengan bereaksi terhadap variasi tingkat cahaya yang datang. Akibatnya, proses pengambilan sampel tidak lagi ditentukan oleh sumber waktu buatan melainkan oleh sinyal itu sendiri atau khususnya oleh fluktuasi amplitudo sinyal temporal. Hasil yang dihasilkan oleh kamera tersebut berevolusi dari rangkaian gambar menjadi aliran data piksel individual yang terus-menerus yang dihasilkan secara kondisional berdasarkan dinamika pemandangan.

Sensor peristiwa menawarkan beberapa keunggulan, termasuk pengoperasian berkecepatan tinggi (setara dengan 10.000 fps), konsumsi daya yang sangat efisien (hingga kisaran mikrowatt), latensi rendah untuk waktu respons lebih cepat, pengurangan kebutuhan pemrosesan data (10-10.000x lebih sedikit dibandingkan sistem berbasis bingkai), dan rentang dinamis tinggi hingga 120dB. Fitur-fitur ini membuat sensor peristiwa cocok untuk berbagai aplikasi dan produk.

Menerapkan Visi Berbasis Peristiwa

Sensor peristiwa berkemampuan neuromorfik dapat digunakan untuk berbagai tugas otomasi industri, membantu meningkatkan produktivitas, kualitas, keselamatan, keamanan, dan pemeliharaan preventif. (Gambar:Nubuatan)

Awalnya, sensor peristiwa neuromorfik digunakan secara komersial bukan pada mesin tetapi pada manusia, untuk pemulihan penglihatan pada individu tunanetra. Hal ini menyebabkan kasus penggunaan dalam otomasi industri dan pemantauan proses. Penggunaan ini menunjukkan manfaat sensor peristiwa untuk berbagai tugas penglihatan, terutama yang melibatkan elemen yang bergerak cepat dan berubah, kondisi pencahayaan sekitar yang tidak dapat diprediksi, dan sumber daya yang terbatas. Sistem berbasis peristiwa generasi berikutnya telah diterapkan di lingkungan industri untuk tugas-tugas seperti penghitungan kecepatan tinggi, pemeliharaan preventif (misalnya pemantauan getaran), meningkatkan efisiensi dan keselamatan robot, pelacakan mata atau pelacakan gerakan untuk AR/VR serta berbagai aplikasi logistik dan keselamatan/keamanan.

Keunggulan inheren ini menjadikan sensor peristiwa ideal untuk aplikasi IoT. Konsumsi daya memainkan peran penting dalam perangkat IoT, khususnya yang mengandalkan baterai. Visi berbasis peristiwa sangat cocok untuk skenario seperti ini karena beroperasi pada tingkat daya yang jauh lebih rendah dibandingkan dengan sistem kamera berbasis bingkai. Selain itu, kamera berbasis peristiwa unggul dalam kondisi pencahayaan menantang yang umum terjadi di banyak aplikasi IoT karena pemrosesan informasinya yang tidak bergantung pada cahaya. Rentang dinamisnya yang tinggi memungkinkannya menangkap berbagai intensitas cahaya dalam satu bingkai, menjadikannya sempurna untuk lingkungan dengan berbagai kondisi pencahayaan seperti pemandangan luar ruangan dengan sinar matahari cerah atau pengaturan malam hari.

Dengan rentang dinamis yang melebihi 120dB, kamera berbasis peristiwa dapat berfungsi secara efektif bahkan di lingkungan di mana kamera tradisional kesulitan menghadapi berbagai kondisi pencahayaan — baik itu pengaturan yang sangat terang seperti ruang publik atau kendaraan di siang hari atau skenario dengan pencahayaan redup seperti pengoperasian di malam hari atau pengaturan pabrik yang gelap di mana sensor peristiwa dapat digunakan untuk tugas pemeliharaan preventif dan pemantauan keselamatan. (Gambar:Nubuatan)

Dengan rentang dinamis yang melebihi 120dB, kamera berbasis peristiwa dapat berfungsi secara efektif bahkan dalam lingkungan di mana kamera tradisional kesulitan menghadapi berbagai kondisi pencahayaan — baik itu pengaturan yang sangat terang seperti ruang publik atau kendaraan di siang hari atau skenario dengan pencahayaan redup seperti pengoperasian di malam hari atau pengaturan pabrik yang gelap. Selain itu, kamera ini menawarkan latensi minimal dengan mengirimkan informasi hanya ketika ada perubahan kecerahan dalam pemandangan. Respons real-time terbukti bermanfaat dalam situasi pencahayaan yang berubah dengan cepat, seperti peralihan mendadak dari terang ke gelap atau sebaliknya. Kamera berbasis peristiwa, yang mendeteksi perubahan individual dalam intensitas cahaya, tidak terlalu rentan terhadap keburaman gerakan dibandingkan kamera berbasis bingkai konvensional.

Fitur ini sangat berguna dalam skenario yang melibatkan gerakan cepat, sehingga memastikan kualitas gambar yang tajam. Kegunaan baru yang memanfaatkan manfaat ini sedang dikembangkan untuk kamera di ponsel pintar, misalnya kemitraan Prophesee dengan Qualcomm untuk mengintegrasikan teknologi berbasis peristiwa dengan platform Snapdragon yang populer.

Pengembangan lebih lanjut dalam sensor peristiwa untuk IoT melibatkan adaptasinya untuk tugas-tugas edge vision dengan kemampuan komputasi onboard yang terbatas karena perolehan data yang jarang. Namun, tantangan seperti format data yang tidak konvensional, kecepatan data yang bervariasi, dan antarmuka yang tidak standar telah menghambat penerapan yang lebih luas. Untuk mengatasi masalah ini, sensor peristiwa generasi terbaru, yang dicontohkan oleh GenX320 dari Prophesee, bertujuan untuk meningkatkan integrasi dan kegunaan dalam sistem visi tepi tertanam dengan menggabungkan fitur-fitur seperti pra-pemrosesan dan pemformatan data peristiwa, antarmuka data yang kompatibel, dan konektivitas latensi rendah dengan berbagai platform pemrosesan termasuk prosesor neuromorfik yang hemat energi. Misalnya, GenX320 menawarkan beberapa fungsi pra-pemrosesan, antarmuka yang dapat disesuaikan, dan opsi manajemen daya untuk memenuhi aplikasi penglihatan yang sensitif terhadap daya secara efisien.

Terlepas dari efisiensi operasionalnya, mengoptimalkan sensor peristiwa untuk penggunaan daya rendah yang sesuai untuk pengaturan IoT tetap penting. Penerapan berbagai mode daya dan mode operasi khusus aplikasi dapat meningkatkan efisiensi energi secara signifikan untuk aplikasi yang ‘selalu aktif’. Memanfaatkan mekanisme dan strategi manajemen daya cerdas pada chip dapat lebih menyempurnakan fleksibilitas dan kegunaan sensor; Solusi Prophesee telah menunjukkan pengurangan konsumsi daya hingga 36uW dengan mengaktifkan fungsi smart wake-on-events. Selain itu, mendukung mode tidur nyenyak dan siaga dapat bermanfaat.

Pertimbangan khusus untuk sensor peristiwa yang menargetkan aplikasi IoT mencakup pencapaian penanda waktu peristiwa dengan latensi minimal dalam resolusi mikrodetik serta kemampuan antarmuka yang lancar dengan SoC standar melalui fungsi prapemrosesan data peristiwa yang terintegrasi. Memanfaatkan antarmuka keluaran MIPI atau CPI memastikan konektivitas cepat dengan platform pemrosesan tertanam seperti mikrokontroler berdaya rendah dan arsitektur prosesor neuromorfik modern. Privasi tingkat sensor dipastikan melalui data peristiwa tanpa bingkai yang jarang pada sensor peristiwa dan mencakup penghapusan pemandangan statis.

Sensor berbasis peristiwa terus berkembang untuk memenuhi kebutuhan aplikasi yang lebih luas. Sensor terbaru Prophesee, Genx320, membuatnya cocok untuk memenuhi tuntutan banyak kasus penggunaan IoT yang harus beroperasi dalam sistem berdaya rendah dan faktor bentuk kecil. (Gambar:Nubuatan)

Sensor berbasis peristiwa kini digunakan dalam aplikasi yang lebih luas. Dengan mengintegrasikan sensor-sensor ini dengan platform IoT, pengembang produk memenuhi kebutuhan pasar spesifik terkait konsumsi dan ukuran daya. Kasus penggunaan mencakup rendering foveated untuk meningkatkan pengalaman AR/VR, pelacakan mata untuk antarmuka manusia-mesin, dan aplikasi keselamatan seperti sistem pemantauan pengemudi dan deteksi emosi. Mereka juga mendukung kemampuan selalu aktif untuk tujuan keamanan seperti kamera pendeteksi jatuh dan pelacakan gerakan/tangan untuk antarmuka yang imersif. Dalam domain AR/VR, aplikasi seperti pelacakan luar-dalam dan pelacakan konstelasi berdasarkan LCD yang berkedip-kedip memungkinkan pelacakan objek atau pengontrol secara akurat.

Kasus penggunaan baru lainnya, yang dimungkinkan oleh peningkatan teknologi silikon, sedang dalam pengembangan, termasuk teknologi 3D ringan terstruktur berkecepatan tinggi yang memungkinkan pembangkitan point cloud dengan tingkat pengulangan kilohertz untuk aplikasi industri. Sistem rumah pintar yang sadar privasi seperti unit pendeteksi jatuh juga berkembang biak secara lebih luas karena teknologi penglihatan mengatasi masalah privasi dengan tidak menangkap atau mengirimkan gambar.

Visi berbasis peristiwa sedang dalam proses untuk memantapkan dirinya sebagai paradigma yang akan menciptakan standar baru di banyak pasar yang memerlukan efisiensi dalam cara mesin melihat. Selama beberapa tahun terakhir, ini telah berhasil berevolusi untuk memenuhi kegunaan yang lebih luas. Dan dengan terus beradaptasi dan memenuhi kebutuhan banyak aplikasi, kita akan melihat lebih banyak kamera berbasis acara di sekitar kita.

Artikel ini ditulis oleh Luca Verre, CEO dan Salah Satu Pendiri, Prophesee (Paris, Prancis). Untuk informasi lebih lanjut, kunjungi di sini  .