Apakah Ghostbusting atau Menganalisis Data:Menyeberangi Aliran

Memanfaatkan aliran data — menggabungkan peristiwa batch dan real-time — memberdayakan ilmuwan data dan analis untuk mengatasi masalah yang rumit.

Aliran individu menyediakan data yang terkait dengan dimensi tertentu — harga saham, pesanan pelanggan, metrik perangkat. Analisis dan aplikasi dapat dilayani oleh satu aliran data, tetapi penggunaannya sempit dan bersifat lokal.

Melintasi arus mengungkap kemungkinan yang lebih besar, yang penuh dengan sejarah, konteks, dan sinyal terkait. Ketika pahlawan Ghostbuster kami (Venkman dan gengnya) harus menghadapi tantangan (dan mengalahkan Mr. Stay Puft), mereka bergabung—dan mengalir! Keseluruhan lebih besar daripada jumlah bagian-bagiannya.

Di komunitas kami, ilmuwan data, analis, dan pengembang juga dipanggil untuk bertindak. Memanfaatkan aliran data — bergabung dengan acara batch dan real-time — memberdayakan Anda untuk mengatasi masalah yang rumit. Dan, seperti halnya Venkman, terkadang Anda membutuhkan orang lain untuk membawa perlengkapan dan bantuan mereka. Berikut adalah empat komponen penting untuk menyukseskan penyeberangan sungai:

1) Satukan data, kasus penggunaan, dan orang.

Mempercepat inovasi, memaksimalkan efisiensi, dan memberikan fleksibilitas merupakan prioritas yang ditetapkan untuk sistem data yang canggih. Tulang punggung perangkat lunak yang gesit dan berkembang mewujudkan tujuan ini. Komponen inti open-source memberikan kelincahan jangka panjang dan interoperabilitas yang terpenting untuk sukses.

Alat berkembang, dan terkadang Anda perlu menggunakan perangkap hantu baru itu.

2) Tahan tumpukan data Anda di masa mendatang dengan format sumber terbuka.

Portabilitas data telah lama menjadi persyaratan penting bagi tim data perusahaan. Kebun bertembok menciptakan utang masa depan, dan penguncian vendor memiliki biaya jangka panjang yang tak terucapkan, yang sering kali dibayar dalam hambatan bisnis. Menyimpan data menggunakan format terbuka.

CSV dan JSON telah menjadi besar selama bertahun-tahun, dengan Avro, Protobuffs, Parket, Orc, dan lainnya baru-baru ini mendapatkan popularitas. Mereka memiliki alasan masing-masing untuk ada, tetapi masing-masing berprinsip pada pengiriman data terstruktur ke sejumlah besar sistem independen, agnostik dan tidak menyadari hilir ilmu komputer.

Karena besarnya data telah diskalakan dan biaya keuangan dan latensi terkait untuk memindahkan data telah bertambah, konsep data terbuka sekarang mencakup format dalam memori, bukan hanya jenis yang bertahan pada disk. Sekarang seringkali tidak dapat diterima untuk meminta data disalin, dipindahkan, diserialisasi, atau diterjemahkan dengan cara apa pun. Secara khusus, komunitas Apache Arrow yang signifikan mendapat manfaat dari kemampuannya untuk menyajikan data dalam memori ke berbagai pustaka pemrosesan data di banyak bahasa dengan overhead minimal, pembacaan nol-salin, dan akses cepat dalam skala besar.

Tapi mari kita ingat, di Ghostbusters, data hanyalah awal dari petualangan.

3) Jadikan penggabungan data real-time dan statis sebagai persyaratan mendasar.

Mesin data modern harus menyatukan data dari berbagai sumber. Jargon gudang, danau, dan rumah danau mirip centaur sekarang menjadi gambaran umum. Namun, semakin populernya aliran acara tidak begitu tenang menunjukkan bahwa data statis bukan lagi keseluruhan cerita.

Perubahan data. Beban kerja modern hidup dalam keadaan berubah-ubah. Data waktu nyata penting.

Mesin data dan pustaka pemrosesan harus dirancang untuk menangani dan bergerak dengan lancar antara beban kerja data real-time dan statis. "Kecerdasan berkelanjutan" adalah frasa trendi untuk sistem yang menggabungkan konteks sejarah dengan sinyal peristiwa saat itu. Sistem data modern harus dibangun untuk memproses data waktu nyata, aliran peristiwa, dan pembaruan lainnya sebagai kompetensi kelas satu. Ini harus menjadi kekuatan inti, bukan tambahan, bukan renungan.

Lagi pula, seperti yang kita pelajari di Ghostbusters, Gatekeeper dan Key Masters jauh lebih lemah sampai mereka bergabung bersama.

4) Selalu utamakan pengguna.

Pengguna data saat ini memiliki berbagai keterampilan, alat, alur kerja, dan prioritas. Menggabungkan tim di sekitar platform bersama melayani individu sambil memberi energi pada tim. Sistem data yang memaksimalkan efisiensi individu dan mendorong kolaborasi mendorong nilai bisnis.

Perangkat lunak data terbuka menerangi jalan. Perpaduan yang menarik antara kerja sama dan persaingan dalam proyek terbuka menghasilkan kecepatan kemajuan dan kecerdikan yang tak tertandingi. Diselenggarakan untuk mendorong interoperabilitas, pengembangan komunitas menjanjikan peningkatan, integrasi, dan peningkatan pengalaman pengguna. Jalur populer menjadi jalan beraspal. Sistem seperti itu membuat pengguna menjadi tentara sekaligus mendukung produk kerja kodependen yang diperlukan untuk kasus penggunaan yang cukup rumit sekalipun.

Bagaimanapun, satu paket proton sangat kuat, tetapi empat yang bekerja bersama tidak terkalahkan.

Saya tidak 'takut dengan hantu.