Mengatasi Tantangan ETL Data IoT untuk Meningkatkan ROI
Organisasi dapat mengoptimalkan data IoT, dengan cepat dan hemat biaya menghasilkan nilai bisnisnya dengan mengembangkan keahlian dalam teknologi ETL (extract, transfer, load).
Potensi IoT tidak pernah lebih besar. Dengan investasi dalam perangkat yang diaktifkan IoT diharapkan akan menggandakan pada tahun 2021 dan peluq melonjak di segmen data dan analitik, tugas utama adalah mengatasi tantangan dan menyingkirkan biaya yang mengelilingi proyek data IoT.
Organisasi dapat mengoptimalkan data IoT, dengan cepat dan hemat biaya menghasilkan nilai bisnisnya dengan mengembangkan keahlian dalam teknologi ETL (extract, transfer, load), seperti pemrosesan stream dan data lakes.
Lihat juga: 4 Prinsip untuk Mengaktifkan Data Lake yang Utuh
Di banyak organisasi, meskipun, ini dapat menyebabkan hambatan TI, penundaan proyek yang lama, dan data science ditangguhkan. Hasil: proyek IoT — di mana data analitik prediktif dimaksudkan untuk memainkan peran kritis dalam meningkatkan efisiensi operasional dan mendorong inovasi — masih belum melewati ambang konsep bukti dan pasti tidak dapat menunjukkan ROI.
Pahami Tantangan ETL yang Dihadapi IoT
Diagram berikut akan membantu Anda memahami masalah dengan lebih baik:
Sumber data ada di kiri — begitu banyak perangkat penuh sensor, dari antena sederhana hingga kendaraa otonom yang rumit yang menghasilkan data IoT dan mengirimkannya sebagai aliran data semi-terstruktur yang tidak terputus melalui web.
Di kanan adalah tujuan yang harus dicapai oleh konsumsi data tersebut, dengan produk analitik yang dihasilkan pada akhir proyek, termasuk:
- Business intelligence untuk mendapatkan visibilitas ke tren dan pola penggunaan produk
- Operational monitoring untuk melihat gangguan dan perangkat tidak aktif secara real-time
- Anomaly detection untuk mendapatkan peringatan proaktif terhadap puncak atau penurunan tiba-tiba dalam data
- Embedded analytics untuk memungkinkan pelanggan untuk melihat dan memahami data penggunaan mereka sendiri
- Data science untuk menikmati manfaat analitik lanjutan dan machine learning dalam pemeliharaan prediktif, optimasi rute, atau pengembangan AI
Untuk mencapai tujuan ini, Anda perlu terlebih dahulu mengubah data dari mode streaming mentahnya menjadi tabel yang siap analitik yang dapat di kueri dengan SQL dan alat analitik lainnya.
Proses ETL sering kali adalah segmen yang paling sulit dipahami dari setiap proyek analitik karena data IoT memiliki seperangkat kualitas unik yang tidak selalu sinkron dengan database relasional, ETL, dan alat BI biasa. Misalnya:
- Data IoT adalah data streaming, yang dihasilkan secara berkelanjutan dalam file kecil yang menumpuk menjadi kumpulan data besar yang meluas. Ini sangat berbeda dari data tabel tradisional dan memerlukan ETL yang lebih kompleks untuk melakukan joins, agregasi, dan pengayaan data.
- Data IoT harus disimpan sekarang, dianalisis nanti. Tidak seperti kumpulan data biasa, volume besar data yang dibuat oleh perangkat IoT berarti itu harus memiliki tempat untuk duduk sebelum dapat dianalisis – data lake cloud atau on-premise.
- Data IoT menyajikan peristiwa yang tidak terurut karena banyak perangkat yang dapat masuk dan keluar dari area konektivitas internet. Ini berarti log mungkin mencapai server pada waktu yang berbeda dan tidak selalu dalam urutan yang “benar”.
- Data IoT sering memerlukan akses dengan latensi rendah. Secara operasional, Anda mungkin harus mengidentifikasi anomali atau perangkat tertentu secara real atau hampir real-time, jadi Anda tidak dapat menanggung latensi yang disebabkan oleh pemrosesan batch.
Apakah Anda Harus Menggunakan Framework Open-Source untuk Membuat Data Lake?
Untuk membangun platform data enterprise untuk analitik data, banyak organisasi menggunakan pendekatan umum ini: buat data lake menggunakan framework pemrosesan stream open-source sebagai blok bangunan plus database time-series seperti Apache Spark/Hadoop, Apache Flink, InfluxDB, dan lainnya.
Dapatkah alat-alat ini melakukan pekerjaannya? Tentu, tetapi melakukannya dengan benar dapat luar biasa bagi semua kecuali perusahaan yang paling berpengalaman dalam data. Membangun platform data seperti itu memerlukan keterampilan spesialis insinyur big data dan perhatian yang kuat terhadap infrastruktur data – biasanya bukan unggulan dalam manufaktur dan elektronika konsumen, industri yang bekerja erat dengan data IoT. Harapkan penundaan, biaya tinggi, dan ribuan jam insinyur yang sia-sia.
Jika organisasi Anda ingin performa tinggi plus rentang penuh fungsionalitas dan kasus penggunaan — pelaporan operasional, analitik ad-hoc, dan persiapan data untuk machine learning — maka adopsi solusi yang sesuai. Contohnya adalah menggunakan platform ETL data lake yang dibuat khusus untuk mengonversi stream menjadi dataset siap analitik.
Solusi ini tidak kaku dan kompleks seperti platform data Spark/Hadoop. Ini dibangun dengan antarmuka pengguna self-service dan SQL, bukan koding intensif Java/Scala. Untuk analis, ilmuwan data, manajer produk, dan penyedia data di DevOps dan rekayasa data, ini dapat menjadi alat yang benar-benar ramah pengguna yang:
- Menyediakan self-service untuk konsumen data tanpa perlu bergantung pada TI dan rekayasa data
- Mengoptimalkan alur ETL dan penyimpanan big data untuk mengurangi biaya infrastruktur
- Memungkinkan organisasi, berkat layanan sepenuhnya terkelola, untuk fokus pada fitur daripada infrastruktur
- Menghapus kebutuhan untuk memelihara banyak sistem untuk data real-time, analitik dan pelaporan ad hoc
- Memastikan bahwa data tidak pernah keluar dari akun AWS pelanggan untuk keamanan total
Anda dapat mendapat manfaat dari data IoT – hanya membutuhkan alat yang tepat untuk membuatnya berguna.
