Data Lake vs. Big Data untuk Aplikasi Industri
Data lake dan big data adalah dua istilah modern yang sering disalahpahami dan digunakan secara tidak benar. Karena volume data yang besar tersirat, istilah ini kadang-kadang digunakan secara bergantian. Namun, data lake dan big data berbeda, meskipun definisinya saat ini mungkin belum sepenuhnya ditetapkan.
Gambar 1. Data modern dapat berasal dari banyak sumber dan dari jenis yang berbeda. Gambar yang digunakan atas izin Analytics Vidhya
Pertama-tama mari kita lihat konteks sejarah singkat. Pada akhir tahun 2000-an, dengan ledakan pertumbuhan platform media sosial, seperti Facebook dan Twitter, banyak ilmuwan data mulai menyadari potensi platform tersebut untuk menghasilkan sejumlah besar data pribadi yang berharga. Akibatnya, aplikasi perangkat lunak baru dikembangkan untuk memfasilitasi pemrosesan dan analisis data. Salah satu contoh yang menonjol adalah Apache Hadoop, yang pada dasarnya adalah perangkat aplikasi sumber terbuka yang dapat memproses informasi tingkat data yang besar.
Dalam dekade berikutnya, Internet of Things (IoT) memasuki panggung. Ini membuka pintu bagi jutaan sumber data lainnya yang dapat memberikan wawasan tentang preferensi dan pola seseorang, sekaligus mengirimkan informasi tentang produk itu sendiri.
Secara bersamaan, pembelajaran mesin membuat kemajuan penting dan menemukan aplikasi yang lebih praktis di lanskap industri. Hal ini mengakibatkan peningkatan kebutuhan untuk menangani volume data yang besar di industri, terutama dalam proses otomatis.
Semua proyeksi menunjukkan bahwa jumlah keseluruhan data yang tersedia di dunia akan terus berkembang dengan kecepatan yang dipercepat di tahun-tahun mendatang. Sebagai referensi, pada tahun 2016, dunia melewati tonggak 1 Zettabyte dari lalu lintas internet tahunan yang dihasilkan. Satu Zettabyte sama dengan 1 triliun Gigabytes.
Lalu lintas internet tahunan diperkirakan akan melampaui 3 Zettabyte pada tahun 2021. Proyeksi ini, bersama dengan perluasan kemampuan komputasi awan, menunjukkan bahwa nilai dan penggunaan data besar (dan data lake) mungkin baru saja dimulai.
Apa itu Big Data?
Jika dilihat dari perspektif volume saja, definisi big data adalah target yang bergerak. Karena jumlah data dan ruang penyimpanan yang tersedia terus bertambah, demikian pula tolok ukur dari apa yang dianggap sebagai informasi dalam jumlah besar.
Saat ini, penyimpanan data berukuran 100 Terabyte atau lebih umumnya dianggap berada dalam kisaran data besar. Repositori data besar seperti yang berasal dari platform media sosial mungkin dalam kisaran beberapa Petabyte.
Referensi lain yang digunakan untuk mendefinisikan data besar adalah ketika jumlah informasi tidak dapat ditangani oleh alat komputer tradisional, seperti SQL. Sebagai contoh, hari ini, tidak jarang database mencapai ukuran 1 Terabyte per tahun. Namun, dengan aplikasi SQL menjadi lebih kuat, database sebesar ini masih dapat dikelola; oleh karena itu, mereka biasanya tidak dianggap sebagai data besar.
Model 4V Big Data
Sejauh ini, kita telah melihat definisi big data dari perspektif volume. Ada tiga faktor penting lainnya yang perlu dipertimbangkan:kecepatan, variasi, dan kejujuran. Ini, bersama dengan volume, membentuk model 4V.
Gambar 2. Model 4V data besar:Volume, kecepatan, variasi, dan kebenaran. Gambar digunakan atas izin APSense
Variasi mengacu pada semua jenis data berbeda yang disimpan dalam penyimpanan data besar:teks, gambar, suara, video, dll. Ini juga mengacu pada fakta bahwa data dapat berasal dari berbagai sumber.
Kecepatan merupakan pertimbangan penting dalam data besar karena informasi terus mengalir masuk. Kecepatan berkaitan dengan kecepatan data dikumpulkan, dihasilkan, dan didistribusikan.
Veracity mengukur keakuratan dan kualitas data untuk mengevaluasi apakah ilmuwan data dapat menggunakannya untuk analisis dan untuk mencapai kesimpulan darinya.
Setelah memahami data besar, mari kita tinjau data lake sebelum mempelajari cara menggunakannya dalam sistem kontrol.
Apa itu Data Lake?
Data lake adalah gudang terpusat dari sejumlah besar data mentah, yang merupakan informasi yang mungkin atau mungkin tidak berharga di masa depan dan yang tujuannya belum 100% diketahui. Data lake dapat menyimpan database relasional dan non-relasional, bersama dengan jenis file dan entitas lainnya.
Meskipun informasi dalam data lake tidak diproses atau diatur, namun terstruktur sehingga semua input dan output dianggap menciptakan arsitektur yang baik.
Data Lake vs. Big Data
Data lake adalah contoh dari aplikasi big data. Mereka mengikuti kriteria yang dijelaskan dalam model 4V, dengan beberapa kekhususan tambahan. Dalam hal volume, data lake rata-rata mendekati batas bawah dari apa yang dianggap sebagai data besar.
Informasi dalam data lake bermacam-macam, namun syaratnya hanya data mentah yang belum diolah. Kecepatan input dan output sama relevannya dengan sistem modern dan evaluasi kualitas data dilakukan dalam data lake yang dirancang dengan baik.
Aplikasi Industri untuk Data
Otomatisasi canggih mendorong peningkatan pesat dalam jumlah informasi yang ditangani di lantai pabrik. Berkat ini, proses manufaktur dan industri lainnya kini memasuki ranah data besar, dengan beberapa aktivitas bisnis kini menggunakan alat seperti data lake.
Salah satu contoh yang menonjol adalah pemeliharaan prediktif. Kemampuan untuk memprediksi kegagalan mekanis atau listrik sangat berharga dan dapat memberikan penghematan besar dalam biaya perbaikan. Data lake adalah alat yang berguna yang dapat mengumpulkan informasi yang berasal dari file log, beberapa sensor, dan perangkat input, yang dapat digunakan untuk memahami tren dan memprediksi masalah.
Pembelajaran mesin adalah konsep di mana robot diberikan informasi yang dapat membantu mereka beradaptasi dengan perubahan kondisi eksternal. Menangkap informasi mirip dengan pemeliharaan prediktif, dengan langkah tambahan bahwa evaluasi dan perubahan proses secara otomatis diumpankan ke pengontrol sistem. Data pembelajaran mesin dapat disimpan dalam data lake terstruktur.
Gambar 3. Pembelajaran mesin memiliki beberapa strategi yang masing-masing membutuhkan data dalam jumlah besar. Gambar yang digunakan milik WordStream
Kesimpulannya, data lake adalah sebuah instance dari aplikasi big data. Kedua cara melihat data ini dapat bekerja sama. Dengan memanfaatkan big data dan data lake, teknisi kontrol dapat memprediksi kegagalan, membuat rutinitas perawatan, menumbuhkan transformasi digital fasilitas, dan banyak lagi.
Untuk apa Anda menggunakan big data dan data lake dalam pekerjaan Anda?
