Mengoptimalkan Data File untuk Data Lake Cloud: Panduan Praktis

Strategi data lake cloud adalah evolusi alami untuk organisasi TI perusahaan yang berdata penuh yang bergerak ke cloud, karena ini mengangkat cloud dari peti penyimpanan data murah menjadi tempat di mana data dapat dimanfaatkan untuk nilai baru, dan dimonetisasi.

Jika 2020 dan 2021 adalah tahun percepatan cloud yang cepat, 2022 akan menjadi tahun saat perusahaan mulai serius tentang membawa data file terstruktur ke dalam cloud data lake. Ada beberapa alasan di balik tren ini. Pertama, organisasi duduk di atas petabyte data terstruktur, yang mencakup setidaknya 80% dari 64 zetabyte data (dan bertambah) di penyimpanan di dunia saat ini. Sebagian besar ini adalah data file—dari citra medis hingga video streaming, data sensor dari mobil listrik dan produk IoT, dan dokumen yang digunakan orang di setiap sektor untuk berkolaborasi dan berbisnis.

Kedua, data file menjadi tidak dapat dikelola, mahal untuk disimpan dan CIO tahu mereka duduk di atas tambang emas potensial wawasan jika hanya mereka dapat menentukan bagaimana memasukkannya ke tempat yang tepat untuk analisis. Akhirnya, platform cloud utama sedang menginvestasikan banyak dalam alat analitik/ML/AI dan tingkat penyimpanan objek yang lebih rendah untuk mendukung proyek data lake.

Lihat juga: Data Lakes, Time-Series Data, dan Analitik Industri

Kematangan data lake ke cloud

Mengaktifkan data lake adalah salah satu tujuan teratas yang diprioritaskan manajer TI, bersama dengan keamanan, manajemen biaya, dan visibilitas, menurut studi terbaru yang kami lakukan. Cloud telah mengubah strategi data lake tradisional, yang dimulai ketika perusahaan ingin menganalisis data terstruktur seperti file CSV dan log. Pada 2006, Hadoop lahir, dan mendapatkan adopsi yang luas tepat saat percakapan Big Data mulai beredar. Namun Hadoop akhirnya terbukti lebih lambat dan lebih mahal dari yang diharapkan, rumit untuk diatur, diskalakan dan dikelola dan terutama dirancang untuk pemrosesan batch. Untuk mengatasi masalah ini, Apache Spark muncul di tatanan, berjalan hingga 100x lebih cepat untuk beberapa beban kerja dan cocok untuk analisis real-time. Penting, fokus perusahaan seperti Databricks adalah untuk menjalankan Spark di cloud, sedangkan Hadoop terutama diimplementasikan on-premises.

Dalam beberapa tahun terakhir, platform data lake berbasis cloud telah matang dan sekarang siap untuk prime time. Penyimpanan objek scale-out yang lebih murah dari penyedia cloud menyediakan platform untuk proyek petabyte skala besar yang tidak viable on-premises. Data lake generasi berikutnya dibangun di atas Apache Spark untuk mendukung penyimpanan data S3 atau objek, sehingga memungkinkan ingest dan pemrosesan data terstruktur dan terstruktur. Penyimpanan file juga bertransisi ke cloud dan perlu dimanfaatkan sebagai bagian dari cloud data lake, jadi tidak semua data mungkin ada di penyimpanan objek.

Strategi data lake cloud adalah evolusi alami untuk organisasi TI perusahaan yang berdata penuh yang bergerak ke cloud, karena ini mengangkat cloud dari peti penyimpanan data murah menjadi tempat di mana data dapat dimanfaatkan untuk nilai baru, dan dimonetisasi.

Bagaimana mengatur cloud data lake

Sementara ini masih hari awal untuk cloud data lake, termasuk data file dalam data lake Anda adalah penting, karena model machine learning membutuhkan kuantitas besar untuk menghasilkan hasil yang bermakna. Namun data terstruktur ini tidak terstandarisasi antara jenis file: file video, file audio, data sensor, log tidak berbagi struktur yang sama. Dan membuang semua data file ini sembarangan ke platform cloud data lake bukan strategi yang bijak, tetapi kekacauan untuk dibersihkan nanti. Meski janji-janjinya, ada banyak risiko dengan data lake, mulai dari biaya manajemen yang tinggi, kesenjangan keterampilan, kekhawatiran keamanan dan tata kelola, masalah portabilitas saat memindahkan data di antara cloud dan platform penyimpanan dan kekhawatiran berkelanjutan bahwa data lake menjadi rawa ketika data terlalu besar dan berantakan untuk dicari dan dianalisis.

Berikut adalah beberapa pertimbangan saat memulai untuk membawa data file ke dalam cloud data lake untuk menghindari atau meminimalkan konflik.

1. Optimalkan data lake. Sebelum data dapat dianalisis, data harus dibersihkan, dinormalisasi, dan diklasifikasikan, yang dapat menjadi proses yang sangat manual yang berkontribusi pada kelebihan anggaran waktu dan waktu ke nilai. Ini selalu merupakan tantangan untuk inisiatif data warehouse dan hal yang sama berlaku untuk data lake dan data lakehouse. Data lake menarik karena mereka dapat meng ingest data dalam format aslinya; mengharuskan optimisasi sebelum memasukkan data ke dalam lake menghancurkan kemudahan penggunaan ini. Bagaimana Anda dapat secara otomatis mengoptimalkan data file tanpa memerlukan perubahan perilaku pengguna? Kunci untuk mengoptimalkan data file adalah metadata: informasi tentang jenis file, tanggal dibuat dan diakses terakhir, pemilik, proyek, dan lokasi. Kemampuan untuk secara otomatis mengindeks dan memberi tag file berdasarkan properti metadata akan menghindari masalah data swamp dan memudahkan pencarian dan segmenisasi nanti, dibandingkan hanya membiarkan data lake tidak terkelola.
2. Gunakan pengindeksan metadata untuk menemukan kumpulan data yang tepat untuk kebutuhan spesifik. Alat yang dapat mengindeks file dan mencari metadata di seluruh penyimpanan (termasuk on-premises, edge dan lokasi cloud) dapat menyaring miliaran file menjadi beberapa ribuan sehingga Anda hanya mengirim file yang tepat yang ingin Anda analisis ke cloud.
3. Berikan tag data saat Anda mencari untuk meningkatkan pencarian dan kegunaan. Setelah Anda menemukan file yang Anda butuhkan, Anda kemudian dapat menggunakan sistem machine learning untuk menyempurnakan pencarian lebih lanjut dengan lebih banyak tag. Proses ini harus berkelanjutan dan otomatis, sehingga seiring waktu struktur tambahan dikembangkan dan pencarian yang lebih mudah datang ke data lake Anda bersama dengan kualitas keseluruhan yang lebih baik.
4. Tampung edge. Seiring pertumbuhan komputasi edge karena kasus penggunaan baru dari data sensor, data streaming dari edge akan menjadi tidak dapat dipertanggungjawabkan. Bagaimana Anda dapat memproses lebih banyak data di edge dan mengambil hanya yang Anda butuhkan ke dalam cloud data lake? Pra-pemrosesan edge akan semakin kritis seiring pertumbuhan volume data edge.
5. Buat taksonomi menurut industri. Tidak ada standar penamaan tag untuk setiap industri. Memiliki beberapa klasifikasi tag yang umum menurut sektor akan membuat data lebih mudah dicari dan diekstrak, terutama di lingkungan kolaboratif seperti penelitian dan ilmu kehidupan.
6. Atasi mobilitas data. Untuk benar-benar dapat dipindahkan, data harus dapat tinggal di sistem yang berbeda di seluruh lingkungan cloud hibrid sambil juga secara native mengakses layanan di lingkungan tersebut. Melepaskan data dari sistem penyimpanan milik memberikan kontrol kembali ke TI dan menghilangkan biaya dan repot memindahkan data dari satu platform ke platform berikutnya. Cara data digunakan dan diakses serta nilainya berubah seiring waktu. Dengan melindungi data Anda di masa depan, Anda dapat menyesuaikan diri dengan perubahan dan kebutuhan baru. Solusi manajemen dan mobilitas data independen dapat membantu di sini.
7. Bangun budaya yang tepat. Organisasi terkemuka terus mengidentifikasi budaya – orang, proses, organisasi, manajemen perubahan – sebagai hambatan terbesar untuk menjadi organisasi yang didorong data, menurut penelitian 2021 oleh New Vantage Partners. Budaya yang didorong data perlu meliputi tidak hanya analis dan garis bisnis tetapi juga tim infrastruktur TI. Pemimpin TI akan perlu memainkan peran dalam membantu profesional penyimpanan data, server, dan jaringan mengarahkan ulang tanggung jawab dan tugas harian mereka ke dalam kerangka pengambilan keputusan yang berpusat data. Alat dan proses harus lintas fungsi, memungkinkan pandangan holistik atas aset data organisasi dan kolaborasi di sekitar strategi untuk mengelola aset tersebut untuk keuntungan organisasi.

Cloud data lake telah gaining popularitas karena data dapat di ingest dalam format aslinya tanpa pra-pemrosesan yang ekstensif yang diperlukan untuk data warehouse. Sisi lainnya adalah data lake telah menjadi data swamp terutama untuk data file terstruktur, karena data ini tidak memiliki struktur umum. Menganalisis data file semakin kritis dengan munculnya mesin AI/ML yang bergantung padanya. Cloud data lake dapat dioptimalkan untuk data terstruktur tanpa menghancurkan daya tarik mereka untuk meng ingest data dalam format asli dengan mengotomatisasi pengindeksan, pencarian, pengumpulan, dan optimasi data file.