Streaming data membuka kemungkinan baru di era IoT

Kelly Herrell dari Hazelcast

Di era pra-digital, departemen TI menguasai berbagai pendekatan teknologi untuk mengekstrak nilai dari data. Gudang data, platform analitik, dan berbagai jenis database memenuhi pusat data, mengakses perangkat penyimpanan tempat catatan disimpan dengan aman di disk untuk nilai historisnya.

Sebaliknya, kata Kelly Herrell, CEO Hazelcast , data saat ini dihasilkan dan dialirkan oleh perangkat Internet of Things (IoT) dengan kecepatan yang belum pernah terjadi sebelumnya. "Hal-hal" di IoT tidak terhitung banyaknya — sensor, aplikasi seluler, kendaraan yang terhubung, dll. — yang dengan sendirinya bersifat eksplosif. Tambahkan ke "efek jaringan" di mana tingkat nilai berkorelasi langsung dengan jumlah pengguna yang terhubung, dan tidak sulit untuk melihat mengapa perusahaan menyukai IDC memproyeksikan pasar IoT akan mencapai US$745 miliar (€665 miliar) tahun depan dan melampaui angka $1 triliun (€0,89 triliun) pada 2022.

Megatren ini mengganggu paradigma pengolahan data. Nilai historis dari data yang disimpan sedang digantikan oleh nilai temporal dari data streaming. Dalam paradigma data streaming, nilai adalah fungsi langsung dari kedekatan, karena dua alasan:

• Perbedaan :Seperti halnya molekul air unik yang melewati selang panjang yang berbeda di setiap titik waktu, demikian pula data unik yang mengalir melalui jaringan untuk setiap jendela waktu.
• Tidak tahan lama :Peluang untuk bertindak berdasarkan wawasan yang ditemukan dalam data streaming sering kali menghilang segera setelah data dibuat.

Konsep perbedaan dan tidak tahan lama berlaku untuk paradigma data streaming ini. Perubahan mendadak yang terdeteksi dalam aliran data menuntut tindakan segera, baik itu pola yang terjadi pada pengenalan wajah real-time atau sensor getaran rig pengeboran yang tiba-tiba mencatat kelainan yang dapat menjadi bencana jika langkah-langkah pencegahan tidak segera diambil.

Di era sensitif waktu saat ini, IoT dan data streaming mempercepat laju perubahan dalam paradigma data baru ini. Pemrosesan streaming itu sendiri berubah dengan cepat.

Dua generasi, masalah yang sama

Generasi pertama pemrosesan aliran sebagian besar didasarkan pada pemrosesan batch menggunakan arsitektur berbasis Hadoop yang kompleks. Setelah data dimuat — yang secara signifikan setelah dibuat — kemudian didorong sebagai aliran melalui mesin pemrosesan data. Kombinasi kerumitan dan penundaan membuat metode ini sebagian besar tidak mencukupi.

Generasi kedua, (sebagian besar masih digunakan), mengecilkan ukuran batch menjadi "mikro-batch." Kompleksitas implementasi tidak berubah, dan meskipun batch yang lebih kecil membutuhkan waktu lebih sedikit, masih ada keterlambatan dalam menyiapkan batch. Generasi kedua dapat mengidentifikasi perbedaan tetapi tidak membahas tidak tahan lama. Saat menemukan perubahan dalam aliran, itu sudah menjadi sejarah.

Pemrosesan streaming generasi ketiga

Dua generasi pertama menyoroti rintangan yang dihadapi organisasi TI:Bagaimana pemrosesan streaming dapat lebih mudah diterapkan saat memproses data pada saat dihasilkan? Jawabannya:perangkat lunak harus disederhanakan, tidak berorientasi batch, dan cukup kecil untuk ditempatkan sangat dekat dengan sumber aliran.

Dua generasi pertama pemrosesan aliran memerlukan pemasangan dan pengintegrasian beberapa komponen, yang menghasilkan footprint yang terlalu besar untuk sebagian besar infrastruktur edge dan IoT. Jejak yang ringan memungkinkan mesin streaming dipasang di dekat atau disematkan pada asal data. Jarak yang dekat menghilangkan kebutuhan aliran IoT untuk melintasi jaringan untuk diproses, sehingga mengurangi latensi dan membantu mengatasi tantangan ketahanan.

Tantangan bagi organisasi TI adalah menyerap dan memproses sumber data streaming secara real-time, menyempurnakan data menjadi informasi yang dapat ditindaklanjuti sekarang . Penundaan dalam pemrosesan batch mengurangi nilai streaming data. Pemrosesan streaming generasi ketiga dapat mengatasi tantangan latensi yang melekat pada pemrosesan batch dengan mengerjakan data mentah langsung dalam skala apa pun.

Streaming dalam praktik

Rig pengeboran adalah salah satu simbol industri energi yang paling dikenal. Namun, biaya pengoperasian rig sangat tinggi dan setiap waktu henti selama proses dapat berdampak signifikan pada laba operator. Wawasan pencegahan membawa peluang baru untuk secara dramatis meningkatkan kerugian tersebut.

SigmaStream , yang mengkhususkan diri pada aliran data frekuensi tinggi yang dihasilkan dalam proses pengeboran, adalah contoh yang baik dari pemrosesan aliran yang diterapkan di lapangan. Rig pelanggan SigmaStream dilengkapi dengan sejumlah besar sensor untuk mendeteksi getaran terkecil selama proses pengeboran. Data yang dihasilkan dari sensor ini dapat mencapai 60 hingga 70 saluran data frekuensi tinggi yang masuk ke sistem pemrosesan aliran.

Dengan memproses informasi secara real-time, SigmaStream memungkinkan operator untuk mengeksekusi aliran data ini dan segera bertindak berdasarkan data untuk mencegah kegagalan dan penundaan. Mesin streaming generasi ketiga, ditambah dengan alat yang tepat untuk memproses dan menganalisis data, memungkinkan operator memantau getaran yang hampir tidak terlihat melalui analisis streaming pada data rig. Dengan melakukan penyesuaian yang tepat, pelanggan SigmaStream telah menghemat jutaan dolar dan mengurangi waktu di tempat sebanyak 20%.

Di era digital saat ini, latensi adalah waktu henti baru. Pemrosesan aliran adalah langkah logis berikutnya bagi organisasi yang ingin memproses informasi lebih cepat, memungkinkan tindakan lebih cepat, dan melibatkan data baru dengan kecepatan saat tiba. Dengan menghadirkan pemrosesan aliran ke aplikasi arus utama, organisasi dapat berkembang di dunia yang didominasi oleh generasi baru aplikasi berperforma sangat tinggi dan memberikan informasi dengan kepekaan waktu untuk memenuhi ekspektasi yang meningkat.

Penulisnya adalah Kelly Herrell, CEO Hazelcast