Menyilangkan Aliran Data: Dari Ghostbusting hingga Analitik Lanjutan

Memanfaatkan aliran data — menggabungkan peristiwa batch dan real-time — memberdayakan ilmuwan data dan analis untuk mengatasi masalah yang canggih.

Aliran individual menyediakan data terkait dimensi tertentu — harga saham, pesanan pelanggan, metrik perangkat. Analitik dan aplikasi dapat dilayani oleh satu aliran data, namun penggunaannya sempit dan lokal.

Menyilangkan aliran mengungkapkan kemungkinan yang lebih besar, yang dipenuhi dengan sejarah, konteks, dan sinyal terkait. Ketika pahlawan Ghostbuster kami (Venkman dan sekutu) perlu bangkit menghadapi tantangan (dan mengalahkan Mr. Stay Puft), mereka bergabung—and aliran! Keseluruhan lebih besar dari jumlah bagian-bagiannya.

Di komunitas kami, ilmuwan data, analis, dan pengembang sama sekali dipanggil untuk bertindak. Memanfaatkan aliran data — menggabungkan peristiwa batch dan real-time — memberdayakan Anda untuk mengatasi masalah yang canggih. Dan, seperti dengan Venkman, terkadang Anda membutuhkan orang lain untuk membawa peralatan mereka dan membantu. Berikut adalah empat komponen penting untuk membuat silang aliran berhasil:

1) Gabungkan data, kasus penggunaan, dan orang.

Mempercepat inovasi, memaksimalkan efisiensi, dan memberikan fleksibilitas adalah prioritas yang telah terbukti untuk sistem data yang canggih. Tulang punggung perangkat lunak yang fleksibel dan berkembang mewujudkan tujuan ini. Komponen inti sumber terbuka menyediakan ketangguhan dan interoperabilitas jangka panjang yang terpenting untuk keberhasilan.

Alat berkembang, dan terkadang Anda perlu menggunakan perangkap hantu baru itu.

2) Perlindungi tumpukan data Anda di masa depan dengan format sumber terbuka.

Portabilitas data telah lama menjadi kebutuhan sakral untuk tim data perusahaan. Taman terbungkus menciptakan utang di masa depan, dan vendor lock-in memiliki biaya jangka panjang yang tidak diungkapkan, yang sering dibayar dengan penurunan bisnis. Simpan data menggunakan format terbuka.

CSV dan JSON telah besar selama bertahun-tahun, dengan Avro, Protobuffs, Parquet, Orc, dan lainnya baru-baru ini gaining popularitas. Mereka masing-masing memiliki alasan untuk ada, namun masing-masing berasas pada pengiriman data terstruktur ke banyak sistem independen, agnostik dan tidak menyadari ilmu komputer downstream.

Seiring meningkatnya magnitudo data dan biaya finansial serta latensi terkait perpindahan data yang semakin kompleks, konsep data terbuka sekarang mencakup format in-memory, bukan hanya yang disimpan di disk. Sekarang seringkali tidak dapat diterima untuk mengharuskan data untuk disalin, dipindahkan, diserialkan, atau diterjemahkan dengan cara apa pun. Khususnya, komunitas yang signifikan Apache Arrow mendapatkan manfaat dari kemampuannya untuk melayani data in-memory ke banyak pustaka pemrosesan data di banyak bahasa dengan overhead minimal, pembacaan nol-salinan, dan akses cepat dalam skala besar.

Tapi mari kita ingat, dalam Ghostbusters, data hanyalah awal dari petualangan.

3) Buat penggabungan data real-time dan statis menjadi persyaratan fundamental.

Mesin data modern harus menggabungkan data dari berbagai sumber. Istilah warehouse, lake, dan lakehouse yang mirip kentaur sekarang adalah citra umum. Namun, popularitas yang meningkat dari event stream adalah kanari yang tidak begitu sunyi yang menunjukkan bahwa data statis tidak lagi keseluruhan cerita.

Data berubah. Beban kerja modern berada dalam keadaan fluks. Data real-time penting.

Mesin data dan pustaka pemrosesan harus dirancang untuk mengatasi dan bergerak secara fluida antara beban kerja data real-time dan statis. “Continuous intelligence” adalah frase tren untuk sistem yang menggabungkan konteks sejarah dengan sinyal peristiwa dari saat itu. Sistem data modern harus dibangun untuk memproses data real-time, aliran peristiwa, dan pembaruan lainnya sebagai kompetensi kelas pertama. Ini harus menjadi kekuatan inti, bukan tambahan, bukan pikiran terakhir.

Karena, seperti yang kita pelajari dalam Ghostbusters, Gatekeepers dan Key Masters jauh lebih lemah sampai mereka bergabung bersama.

4) Selalu tempatkan pengguna di tempat pertama.

Pengguna data saat ini memiliki berbagai keterampilan, alat, alur kerja, dan prioritas. Menggabungkan tim di sekitar platform bersama melayani individu sambil memenergikan tim. Sistem data yang memaksimalkan efisiensi individu dan mendorong kolaborasi mendorong nilai bisnis.

Perangkat lunak data terbuka menerangi jalan. Campuran yang menarik dari kerja sama dan persaingan dalam proyek terbuka menghasilkan kemajuan dan kejeniusan yang tak tertandingi. Diatur untuk mendorong interoperabilitas, pengembangan komunitas menjanjikan peningkatan, integrasi, dan peningkatan pengalaman pengguna. Jalur populer menjadi jalan raya. Sistem seperti itu membuat pengguna menjadi satu orang armada sambil mendukung produk kerja codependen yang diperlukan untuk setiap kasus penggunaan yang setidaknya cukup kompleks.

Karena, satu proton pack itu kuat, namun empat yang bekerja sama adalah tak terkalahkan.

Saya tidak takut akan hantu.