Pemrosesan Aliran Generasi Ketiga: Mengubah Data IoT menjadi Tindakan Real-Time
Kelly Herrell of Hazelcast
Di era pra-digital, tim TI memanfaatkan berbagai alat manajemen data—gudang data, platform analitik, dan berbagai sistem basis data—untuk menangkap dan melestarikan informasi untuk analisis di masa depan.
Hari ini, data dihasilkan dan di-stream oleh perangkat IoT dengan tingkat yang tak tertandingi. “Things” dalam IoT—sensor, aplikasi seluler, kendaraan terhubung—ciptakan volume informasi yang meledak. Tambahkan efek jaringan, di mana nilai berskala dengan jumlah pengguna yang terhubung, dan jelas mengapa IDC memproyeksikan pasar IoT akan mencapai $745 miliar (€665 miliar) tahun depan dan melebihi $1 triliun (€0,89 triliun) pada 2022.
Dalam megatren ini, penekanan tradisional pada data historis sedang memberi jalan pada nilai temporal dari data streaming. Dalam paradigma streaming, nilai secara langsung terkait dengan kecepatan untuk dua alasan:
Perbedaan: Seperti molekul air yang melewati selang, setiap tangkapan data yang mengalir melalui jaringan adalah unik.
Kepedasaran: Peluang untuk bertindak berdasarkan wawasan seringkali menghilang segera setelah data dihasilkan.
Konsep-konsep ini berarti bahwa perubahan tiba-tiba yang terdeteksi dalam aliran memerlukan tindakan instan—baik itu peringatan pengenalan wajah real-time atau sensor bor di tengah laut yang mendeteksi getaran abnormal yang dapat menyebabkan kegagalan katastrofik jika tidak segera ditangani.
Di dunia yang bergerak cepat saat ini, IoT dan data streaming mempercepat pace perubahan, mengubah cara kita memproses informasi. Pemrosesan aliran sendiri berkembang dengan cepat.
Dua generasi, masalah yang sama
Generasi pertama pemrosesan aliran sangat bergantung pada pemrosesan batch dalam arsitektur Hadoop yang kompleks. Data akan dikumpulkan, disimpan, dan hanya setelah penundaan akan di-stream ke dalam mesin pemrosesan. Kombinasi kompleksitas dan latensi membuat pendekatan ini sebagian besar tidak memadai.
Generasi kedua memperkenalkan micro-batches, menyusutkan ukuran batch untuk mengurangi waktu pemrosesan. Namun, kompleksitas yang mendasari tetap sama, dan penundaan dalam menyiapkan setiap micro-batch masih berarti bahwa perubahan hanya diidentifikasi setelah menjadi historis.
Pemrosesan aliran generasi ketiga
Tantangan bagi organisasi TI jelas: bagaimana kita dapat mengkonsumsi dan memproses data streaming secara real time, mengubah data mentah menjadi wawasan yang dapat ditindaklanjuti “sekarang” tanpa overhead sistem yang berorientasi batch? Jawabannya terletak pada perangkat lunak yang ringan, tidak berpusat pada batch, dan cukup kecil untuk berjalan dekat dengan—atau bahkan tersemat di—sumber data.
Mesin generasi pertama dan kedua memerlukan beberapa komponen, menghasilkan jejak yang terlalu besar untuk sebagian besar lingkungan tepi dan IoT. Mesin ringan dapat diterapkan tepat di sumber, menghilangkan kebutuhan untuk mengirim seluruh aliran melalui jaringan untuk pemrosesan. Kedekatan ini secara dramatis mengurangi latensi dan mengatasi tantangan kepedasaran.
Pemrosesan aliran generasi ketiga dapat menangani data mentah langsung dalam skala besar, memberikan wawasan segera dan memungkinkan tindakan yang memanfaatkan nilai sesaat dari informasi real-time.
Streaming dalam praktik
Rig bor adalah simbol ikonik dari sektor energi, namun biaya operasionalnya tinggi dan waktu henti apa pun dapat berdampak parah pada garis laba. Wawasan pencegahan dapat secara dramatis mengurangi kerugian.
SigmaStream spesialis dalam aliran data frekuensi tinggi yang dihasilkan selama bor. Rigs mereka dilengkapi dengan berkasan sensor yang menangkap getaran kecil. Volume dapat mencapai 60 hingga 70 saluran frekuensi tinggi yang masuk ke dalam sistem pemrosesan aliran.
Dengan memproses data ini secara real time, SigmaStream memungkinkan operator untuk bertindak segera—menyesuaikan parameter bor secara langsung—untuk mencegah kegagalan dan waktu henti. Dipadukan dengan mesin streaming generasi ketiga dan alat analitik yang tepat, operator dapat memantau getaran yang hampir tidak terlihat. Hasilnya: pelanggan telah menghemat jutaan dolar dan mengurangi waktu di lokasi hingga 20%.
Di era digital, latensi adalah waktu henti baru. Pemrosesan aliran adalah langkah logis selanjutnya untuk organisasi yang perlu mengkonsumsi informasi lebih cepat, memungkinkan tindakan yang lebih cepat, dan memenuhi permintaan yang meningkat untuk data real-time. Dengan memainstreamkan pemrosesan aliran, perusahaan dapat berkembang di dunia yang didominasi oleh aplikasi berkinerja ultra-tinggi dan menyampaikan informasi sensitif waktu yang memenuhi harapan yang semakin tinggi.
