Meningkatkan Kinerja IoT dengan Wawasan Data Berbasis Metadata
Saat data IoT menjadi bagian yang semakin penting dari operasi bisnis perusahaan, kemampuan untuk mengurangi latensi dalam analitik dan pemrosesan data dapat memberikan perbedaan signifikan. Hal ini menjanjikan kemampuan real-time pada level yang baru.
Terdapat banyak data yang bergerak di seluruh jaringan IoT — hingga pada titik di mana mengidentifikasi dan menemukan data yang benar-benar penting dapat memperlambat proses. Metadata — data tentang data — adalah kunci kerajaaan data, terutama saat berkaitan dengan pengindeksan dan identifikasi data terstruktur. Sama seperti data dapat membebani fungsi perusahaan, metadata justru dapat memperlambat hal-hal lebih lanjut.
Usulan baru, yang disajikan dalam konferensi IEEE Edge Computing terbaru, menawarkan cara untuk mengatasi masalah terabytes metadata yang ditetapkan dalam banyak domain aplikasi — yang mereka sebut "metadata yang efisien dan scalable," istilah yang tidak akan diperlukan pada era pra-edge dan batch.
Para peneliti, Bing Zhang dari University of Illinois dan Tevfik Kosar dari University at Buffalo, mengusulkan solusi yang memindahkan metadata di seluruh jaringan IoT dengan cara yang lebih cepat dan efisien. Mereka juga merancang cara untuk melakukan caching dan memprediksi akses metadata di seluruh jaringan, yang berpotensi mengurangi latensi dalam akses dan pergerakan data. "Kami memutar ulang sekitar 20 juta operasi akses metadata dari jejak audit nyata, di mana sistem kami mencapai akurasi 80% selama prediksi prefetch dan mengurangi latensi pengambilan rata-rata sebesar 50% dibandingkan mekanisme terdepan."
Lihat juga: Laporan Deloitte uraikan Lingkup Tantangan Modernisasi Data
Mereka menyatakan, "Lebih dari 50% dari semua operasi I/O disebabkan oleh komputasi yang intensif metadata dan permintaan untuk membaca atribut file mendominasi semua beban kerja." Mereka mengatakan rutin prefetch yang lebih agresif — yang memindahkan data dari penyimpanan ke memori sementara dalam antisipasi permintaan pengguna mendatang — dapat bekerja lebih baik dengan metadata daripada data itu sendiri.
Para penulis menguji arsitektur tersebut, menggunakan jejak log grid Yahoo Hadoop dari dataset Yahoo! Webscope, yang terdiri dari operasi metadata harian yang berkelanjutan dari node nama Hadoop pada tahun 2010. Sistem mencapai "rata-rata prediksi 80% pada operasi metadata dan mengurangi latensi pengambilan rata-rata 50% dibandingkan mekanisme terdepan lainnya," mereka laporkan. "Ini ramah untuk jaringan IoT, di mana perangkat IoT dengan kemampuan komputasi dan penyimpanan yang terbatas dapat mencapai latensi pengambilan rata-rata yang sama dengan node komputasi edge/fog yang berdekatan."
Saat data IoT menjadi bagian yang semakin penting dari operasi bisnis perusahaan, kemampuan untuk mengurangi latensi dalam analitik dan pemrosesan data dapat memberikan perbedaan. Hal ini menjanjikan kemampuan real-time pada level yang baru.
