Mendapatkan Keunggulan dengan Data Tentang Data
Karena data IoT menjadi bagian yang lebih penting dari operasi bisnis perusahaan, kemampuan untuk mengurangi latensi dalam analisis dan pemrosesan data dapat membuat perbedaan. Ini meningkatkan janji real-time ke tingkat yang baru.
Ada banyak data yang bergerak melintasi jaringan IoT — sampai pada titik di mana mengidentifikasi dan menemukan data yang penting dapat memperlambat segalanya. Metadata — data tentang data — adalah kunci kerajaan data, terutama dalam hal pengindeksan dan pengidentifikasian data tidak terstruktur. Sama seperti data dapat membanjiri fungsi perusahaan, metadata dapat memperlambat segalanya lebih jauh.
Sebuah proposal baru, dipresentasikan pada konferensi IEEE Edge Computing baru-baru ini,
menawarkan cara untuk mengatasi masalah terabyte metadata yang ditetapkan dalam banyak domain aplikasi — apa yang mereka sebut “metadata yang efisien dan dapat diskalakan”, sebuah istilah yang bahkan tidak diperlukan di era pra-tepi, batch.
Para peneliti, Bing Zhang dari University of Illinois dan Tevfik Kosar dari University at Buffalo, mengajukan solusi yang memindahkan metadata di seluruh jaringan IoT dengan cara yang lebih cepat dan efisien. Mereka juga menemukan cara untuk menyimpan dan memprediksi akses metadata di seluruh jaringan, yang berpotensi mengurangi latensi dalam akses dan pergerakan data. “Kami memutar ulang sekitar 20 juta operasi akses metadata dari jejak audit nyata, di mana sistem kami mencapai akurasi 80% selama prediksi prefetch dan mengurangi latensi pengambilan rata-rata 50% dibandingkan dengan mekanisme canggih.”
Lihat juga: Deloitte Report Details Cakupan Tantangan Modernisasi Data
Sudah, “lebih dari 50% dari semua operasi I/O disebabkan oleh metadata-intensif
komputasi dan permintaan untuk membaca atribut file mendominasi di semua beban kerja, ”kata Zhang dan Kosar. Mereka mengatakan rutinitas prefetch yang lebih agresif — yang memindahkan data dari penyimpanan ke memori sementara untuk mengantisipasi permintaan pengguna yang akan datang — dapat bekerja lebih baik dengan metadata daripada data aktual itu sendiri.
Penulis menguji arsitektur seperti itu, menggunakan log jejak grid Yahoo Hadoop dari Yahoo! Kumpulan data Webscope, terdiri dari operasi metadata harian berkelanjutan dari node nama Hadoop pada tahun 2010. Sistem mencapai "tingkat prediksi 80% pada operasi metadatanya dan mengurangi latensi pengambilan rata-rata 50% dibandingkan dengan mekanisme canggih lainnya," mereka melaporkan. “Ini ramah untuk jaringan IoT, di mana perangkat IoT dengan kemampuan komputasi dan penyimpanan terbatas dapat mencapai latensi pengambilan rata-rata yang sama dengan node komputasi edge/kabut jarak.”
Karena data IoT menjadi bagian yang lebih penting dari operasi bisnis perusahaan, kemampuan untuk mengurangi latensi dalam analisis dan pemrosesan data dapat membuat perbedaan. Ini meningkatkan janji real-time ke tingkat yang baru.
