Data Lake vs. Big Data: Memilih Pendekatan Tepat untuk Aplikasi Industri
Data lake dan big data adalah dua istilah modern yang sering disalahpahami dan digunakan dengan tidak tepat. Karena implikasi volume data yang besar, istilah ini kadang-kadang digunakan secara bergantian. Namun, data lake dan big data berbeda, meskipun definisi saat ini mungkin belum sepenuhnya dirumuskan.
Mari kita pertama kali lihat konteks historis singkat. Pada akhir tahun 2000, dengan pertumbuhan meledaknya platform media sosial, seperti Facebook dan Twitter, banyak ilmuwan data mulai menyadari potensi platform tersebut untuk menghasilkan sejumlah besar data pribadi yang berharga. Akibatnya, aplikasi perangkat lunak baru dikembangkan untuk memfasilitasi pemrosesan dan analisis data. Salah satu contoh yang terkenal adalah Apache Hadoop, pada dasarnya toolkit aplikasi open source yang dapat memproses informasi tingkat big data.
Dalam dekade berikutnya, Internet of Things (IoT) memasuki panggung. Ini membuka pintu untuk jutaan sumber data lebih banyak yang dapat memberikan wawasan tentang preferensi dan pola seseorang, sambil juga mengirim informasi tentang produk itu sendiri.
Secara bersamaan, pembelajaran mesin sedang melakukan kemajuan penting dan menemukan aplikasi yang lebih praktis di lanskap industri. Ini menghasilkan kebutuhan yang meningkat untuk menangani volume data yang besar di industri, terutama dalam proses otomatis.
Semua proyeksi menunjukkan bahwa jumlah total data yang tersedia di dunia akan terus berkembang dengan tingkat yang dipercepat dalam tahun-tahun mendatang. Untuk referensi, pada tahun 2016, dunia melewati miliar 1 Zettabyte lalu lintas internet tahunan yang dihasilkan. Satu Zettabyte sama dengan 1 triliun Gigabyte.
Lalu lintas internet tahunan diharapkan akan melewati 3 Zettabyte pada tahun 2021. Proyeksi ini, bersama dengan kemampuan komputasi cloud yang diperluas, menunjukkan bahwa nilai dan penggunaan big data (dan data lake) mungkin baru dimulai.
Apa Itu Big Data?
Saat melihatnya secara sederhana dari perspektif volume, definisi big data adalah target yang bergerak. Seiring dengan pertumbuhan jumlah data dan ruang penyimpanan yang tersedia, benchmark dari apa yang dianggap sebagai sejumlah besar informasi juga tumbuh.
Hari ini, repositori data dengan ukuran 100 Terabyte atau lebih umumnya dianggap dalam rentang big data. Repositori data besar seperti yang dari platform media sosial mungkin berada dalam rentang beberapa Petabyte.
Referensi lain yang digunakan untuk mendefinisikan big data adalah ketika jumlah informasi tidak dapat ditangani oleh alat komputer tradisional, seperti SQL. Misalnya, hari ini, tidak jarang untuk basis data mencapai ukuran 1 Terabyte secara tahunan. Namun, dengan aplikasi SQL yang semakin kuat, magnitudo basis data ini masih dapat dielola; oleh karena itu, mereka biasanya tidak dianggap big data.
Model 4V Big Data
Sampai sekarang, kita telah melihat definisi big data dari perspektif volume. Ada tiga faktor penting lainnya yang perlu dipertimbangkan: kecepatan, keragaman, dan keakuratan. Ini, bersama dengan volume, membentuk model 4V.
Keragaman merujuk pada semua jenis data yang disimpan dalam repositori big data: teks, gambar, suara, video, dll. Ini juga merujuk pada fakta bahwa data dapat berasal dari berbagai sumber.
Kecepatan adalah pertimbangan penting dalam big data karena informasi terus-menerus mengalir masuk. Kecepatan berkaitan dengan kecepatan di mana data dikumpulkan, dihasilkan, dan didistribusikan.
Keakuratan mengukur akurasi dan kualitas data untuk mengevaluasi apakah ilmuwan data dapat menggunakannya untuk analisis dan untuk mencapai kesimpulan darinya.
Sekarang kita memahami big data, mari kita tinjau data lake sebelum menyelami cara menggunakannya dalam sistem kontrol.
Apa Itu Data Lake?
Data lake adalah repositori terpusat dari sejumlah besar data mentah, yaitu informasi yang mungkin atau mungkin tidak berharga di masa depan dan tujuannya belum 100% diketahui. Data lake dapat menyimpan basis data relasional dan non-relasional, bersama dengan jenis file dan entitas lain.
Meskipun informasi dalam data lake tidak diproses atau diorganisir, ia terstruktur sehingga semua input dan output dipertimbangkan untuk menciptakan arsitektur yang baik.
Data Lake vs. Big Data
Data lake adalah contoh aplikasi big data. Mereka mengikuti kriteria yang dijelaskan dalam model 4V, dengan beberapa perpartisian tambahan. Dalam hal volume, data lake pada umumnya berada di ujung bawah dari apa yang dianggap big data.
Informasi dalam data lake memiliki keragaman, tetapi syaratnya adalah hanya data mentah yang tidak diproses. Kecepatan input dan output sangat relevan seperti dalam sistem modern dan evaluasi kualitas data dilakukan dalam data lake yang dirancang dengan baik.
Aplikasi Industri untuk Data
Otomatisasi canggih sedang mendorong peningkatan cepat dalam jumlah informasi yang ditangani di lantai pabrik. Berkat ini, manufaktur dan proses industri lainnya sekarang memasuki ranah big data, dengan beberapa aktivitas bisnis sekarang menggunakan alat seperti data lake.
Salah satu contoh yang terkenal adalah pemeliharaan prediktif. Kemampuan untuk memprediksi kegagalan mekanis atau listrik sangat berharga dan dapat memberikan penghematan besar dalam biaya perbaikan. Data lake adalah alat berguna yang dapat mengumpulkan informasi yang berasal dari file log, banyak sensor, dan perangkat input, yang dapat digunakan untuk memahami tren dan memprediksi masalah.
Pembelajaran mesin adalah konsep di mana robot diberikan informasi yang dapat membantu mereka beradaptasi dengan kondisi eksternal yang berubah. Pengambilan informasi mirip dengan pemeliharaan prediktif, dengan langkah tambahan bahwa evaluasi dan perubahan pada proses secara otomatis dikirim ke pengontrol sistem. Data pembelajaran mesin dapat disimpan dalam data lake terstruktur.
Untuk menyimpulkan, data lake adalah contoh aplikasi big data. Dua cara melihat data ini dapat bekerja sama. Dengan memanfaatkan baik big data maupun data lake, insinyur kontrol dapat memprediksi kegagalan, membuat rutin pemeliharaan, meningkatkan transformasi digital fasilitas, dan banyak lagi.
Apa yang Anda gunakan big data dan data lake untuk pekerjaan Anda?
