Data Tidak Terstruktur:Biaya Tersembunyi bagi Industri – Bagaimana Mengubahnya menjadi Nilai

Di setiap industri, teknisi data dan ilmuwan data berupaya memanfaatkan data yang tersembunyi dalam berbagi file dan dikunci dalam sistem yang berbeda dengan lebih baik. Mereka memerlukan data ini untuk membuat alur kerja untuk AI dan alat analisis sehingga mereka dapat mempelajari lebih lanjut tentang pasar mereka, membuat produk dan layanan baru, atau meningkatkan operasi bisnis dan hubungan pelanggan.

Sisi lain dari persamaan ini adalah bahwa data perusahaan membawa banyak risiko yang tidak dipahami dengan baik oleh bisnis, bahkan oleh TI. Misalnya:

• Penyimpanan dan pencadangan data menghabiskan setidaknya 30% dari sebagian besar anggaran TI ketika uang perlu dibelanjakan untuk inovasi, keamanan siber, dan pengalaman pelanggan yang luar biasa;
• Sebagian besar data tidak terstruktur tidak dimanfaatkan untuk nilai bisnis;
• Sebagian besar data tidak terstruktur, sebanyak 80%, jarang digunakan dan menghabiskan ruang penyimpanan yang mahal;
• Banyak organisasi tidak memiliki kebijakan penyimpanan dan penghapusan yang jelas, atau melakukan pembersihan data secara rutin karena khawatir departemen akan melakukan tindakan balasan. Data duplikat saja dapat menyumbang 30 hingga 40% dari rata-rata jejak data perusahaan;
• Data tidak terstruktur yang tidak terkelola dan tidak diketahui di seluruh silo IT hibrid menimbulkan risiko keamanan dan kepatuhan tambahan.

Berikut adalah gambaran beberapa industri serta persyaratan dan tantangan pengelolaan datanya, yang diambil dari pengalaman kami selama bertahun-tahun bekerja dengan pelanggan dalam strategi pengelolaan data tidak terstruktur.

Layanan Kesehatan:Memotong Biaya Tanpa Memotong Akses ke Data Penting  

Layanan kesehatan adalah binatang data. Berdasarkan beberapa perkiraan, organisasi layanan kesehatan merupakan produsen data terbesar di dunia, yang sebagian besar didorong oleh volume berbagai gambar klinis dan data mesin. Pengendalian biaya adalah dan selalu menjadi mandat yang buruk dalam layanan kesehatan, dan terlebih lagi sekarang dengan adanya perubahan pada penggantian biaya Medicare. Organisasi layanan kesehatan juga menghadapi peraturan penyimpanan data yang ketat dan kesulitan menghapus data karena persyaratan hukum dan penelitian. 

Salah satu sistem kesehatan terkemuka, yang mengelola lebih dari 16PB penyimpanan NAS, beralih ke manajemen data tidak terstruktur untuk menganalisis dan mengarsipkan data dingin ke Azure Blob, sehingga mengurangi tekanan pada sistem penyimpanan utamanya. Tanpa mengganggu pengguna, organisasi TI memindahkan lebih dari 2 PB data, membantu menunda penyegaran perangkat keras yang mahal. 

Untuk organisasi dengan persyaratan lacak balak, yang umum terjadi di industri yang diatur seperti layanan kesehatan, visibilitas ke lokasi file dan metadata sangatlah penting. Terakhir, karena kepatuhan merupakan kebutuhan yang selalu ada mengingat tingginya sensitivitas data pasien, visibilitas, pencarian, dan audit data tidak terstruktur yang lengkap memberikan kontrol yang lebih besar kepada direktur TI kesehatan untuk menurunkan risiko.

Ilmu Hayati:Mengubah Kekacauan Data Menjadi Akselerasi Penelitian

Organisasi Ilmu Hayati juga merupakan salah satu sektor penghasil data terbesar. Mereka sering kali menangani jutaan file kecil namun bernilai tinggi, ledakan data yang tidak dapat diprediksi, dan kebutuhan akan penyimpanan jangka panjang tanpa kebijakan penghapusan yang jelas. Faktor-faktor ini mempersulit perencanaan infrastruktur TI.

Di laboratorium biofarmasi dan bioteknologi, ledakan file gambar TIF dari instrumen ilmiah menciptakan tantangan tambahan. Dalam satu contoh, sebuah perusahaan beralih dari data penelitian yang disimpan secara lokal ke rangkaian NAS terpusat. Untuk mengimbangi pertumbuhan pesat, tim TI menerapkan cloud tiering ke Azure dan menggunakan analisis data untuk menentukan dan memindahkan data lama. Hal ini mencegah penyediaan yang berlebihan dan membantu TI mendukung alur penelitian tanpa hambatan. 

Tim TI perusahaan biasanya tidak dapat melihat informasi tentang data mereka yang disimpan di satu tempat, kata Anthony Fiore, pakar solusi penyimpanan di AWS. Visibilitas yang mendetail, yang dihasilkan oleh perangkat lunak pengelolaan data, sangat menarik bagi orang-orang IT di bidang ilmu hayati dan sektor lainnya:"Kami memiliki pelanggan dengan berbagi NAS yang berisi banyak silo data dalam satu berbagi, dan sulit untuk mengetahui bagaimana mereka dapat membaginya berdasarkan lini bisnis atau apakah mereka peduli dengan data ini. Namun begitu mereka melihat semua metadata, mereka mendapatkan pemahaman yang lebih baik tentang cara kerja semuanya, dan kemudian mereka dapat memberi tag dan menelusurinya nanti.”

Layanan Keuangan:Hilangkan Risiko dan Perkuat AI dengan Data yang Bersih dan Terkelola

Lembaga keuangan beroperasi di bawah batasan peraturan yang ketat (misalnya SEC, FINRA, GDPR) dan sering kali terbebani oleh pertumbuhan berbagi file selama beberapa dekade. Penyebaran data, kontrol TI yang terdesentralisasi, dan kepatuhan membuat pengelolaan data berbasis file menjadi sangat kompleks. Selain itu, lembaga keuangan harus memastikan model AI yang digunakan untuk risiko kredit, deteksi penipuan, atau perdagangan diatur dengan tepat dan bebas dari bias dan data yang ketinggalan jaman. Memiliki cara sistematis untuk memahami, membersihkan, mengklasifikasikan data, dan menciptakan alur kerja data AI yang aman dan terpantau merupakan kebutuhan yang semakin meningkat. 

Bagi sebuah perusahaan asuransi multinasional, peralihan ke Azure bukan hanya tentang penghematan biaya namun juga modernisasi, analitik, dan kesiapan AI. Mereka menggunakan manajemen data yang tidak terstruktur untuk mengurangi kebutuhan kapasitas pada penyimpanan utama yang mahal di pusat data, dengan meningkatkan kapasitas lebih dari 600 TB ke penyimpanan cloud objek yang berbiaya lebih rendah. Mereka juga menggunakan alat berbasis cloud untuk mengembangkan produk asuransi yang disempurnakan dengan AI, dengan data tidak terstruktur menjadi bagian penting dari model prediktif tersebut. Kemampuan untuk mengklasifikasikan dan mengelompokkan data tidak terstruktur sebelum penyerapan AI sangat penting untuk mengelola biaya dan memberikan hasil yang akurat.

Lihat juga: Melarikan Diri dari Jebakan Penyimpanan Data dalam Kecerdasan Visual Real-time

Pemerintah Negara Bagian &Lokal:Memperluas Kehidupan Infrastruktur dan Memperkuat Pengawasan Data

Organisasi TI sektor publik cenderung memiliki infrastruktur yang sudah tua dan persentase aplikasi lama yang lebih tinggi dibandingkan sektor swasta. Mereka ingin melakukan modernisasi, namun anggaran biasanya terbatas, dan adopsi cloud sangat minim karena kebijakan keamanan, serta mandat hukum yang mengharuskan penyimpanan data tanpa jalur penghapusan yang jelas. Para pemimpin TI perlu menyeimbangkan pemberian layanan dengan persyaratan kepatuhan yang ketat. 

Bagi lembaga negara, pengarsipan file ke cloud membantu mengurangi ketergantungan pada perangkat keras yang sudah tua. Visibilitas ke tanggal terakhir diubah/akses memungkinkan TI hanya memindahkan data yang jarang diakses dari penyimpanan berkinerja tinggi. Pada saat yang sama, mengintegrasikan sistem penyimpanan dan manajemen data dengan alat keamanan dan kepatuhan sangat penting untuk memastikan akses yang aman dan dapat diaudit. Meskipun penerapan pengelompokan data masih dilakukan dengan hati-hati, banyak lembaga yang menggunakan pelaporan untuk mendukung kebijakan siklus hidup data yang tidak terstruktur, terutama terkait data departemen yang stagnan.

Teknik &Arsitektur:Menangkan Lebih Banyak Proyek dengan Membuka Nilai Data Tersembunyi

Perusahaan teknik dan desain menghasilkan data tidak terstruktur dalam skala besar, terutama dari file pemodelan CAD, GIS, dan 3D. File-file ini berukuran besar dan sulit dikelola, terutama di seluruh tim yang terdistribusi dan sistem warisan dari aktivitas M&A. Perusahaan-perusahaan ini perlu menyimpan data proyek historis untuk referensi, tanggung jawab, dan digunakan kembali. Sebuah perusahaan global, yang mengelola lebih dari 6PB, menggunakan manajemen data tidak terstruktur untuk mengidentifikasi dan memindahkan file proyek yang berumur lebih dari tiga tahun ke arsip Cloudian, yang dicadangkan di Azure. Hal ini menjaga kinerja pada rangkaian HPE aktif sambil mempertahankan aksesibilitas. Dalam satu kasus, kueri di seluruh penyimpanan data file membantu mereka dengan cepat menemukan data uji tanah untuk proyek di area rawan gempa, sehingga menghemat waktu dan mendukung desain infrastruktur penting.

Saat mereka terus mengintegrasikan akuisisi, perusahaan menggunakan analitik untuk mengevaluasi server file yang baru diwarisi. Visibilitas ini memungkinkan mereka memprioritaskan apa yang harus dipertahankan, dimigrasikan, atau diarsipkan. Sasaran mereka adalah mengindeks semua data tidak terstruktur, memungkinkan pemodelan berbasis AI, dan mengurangi silo pengetahuan di seluruh unit bisnis.

Energi:Meningkatkan Efisiensi Lapangan dan Kepatuhan terhadap Data Terpusat

Perusahaan-perusahaan ini menghadapi kendala lokasi terpencil, bandwidth yang bervariasi, kepatuhan terhadap peraturan keselamatan dan operasional internasional, serta meningkatnya kebutuhan untuk mendukung diagnostik jarak jauh berbasis data dan digital twins.

Di satu perusahaan, keputusan untuk mengadopsi manajemen data tidak terstruktur berasal dari kebutuhan untuk menghentikan penyimpanan edge di ratusan lokasi terpencil. Dengan menumpuknya log video, gambar, dan catatan pemeliharaan lepas pantai, mereka mulai mengarsipkan data dingin ke Azure untuk memusatkan dan mengontrol data tidak terstruktur mereka.

Dengan diterapkannya model tagihan balik, wawasan data file menjadi penting bagi akuntabilitas departemen. Sasaran jangka panjangnya adalah untuk mendukung alur kerja data survei dan inspeksi, seperti citra ROV bawah air, ke dalam lingkungan yang mendukung AI untuk pemeliharaan prediktif dan kepatuhan. 

Semikonduktor / Manufaktur:Melindungi IP Sekaligus Memotong Jejak Penyimpanan yang Mahal

Perusahaan semikonduktor harus melindungi IP bernilai tinggi, mengelola data yang didistribusikan secara global, dan mematuhi kontrol ekspor dan persyaratan keamanan yang ketat sambil memastikan teknisi memiliki akses berkinerja tinggi ke kumpulan data aktif.

Produsen semikonduktor global menggunakan peralatan pemindaian yang sangat terspesialisasi yang menghasilkan sejumlah besar data gambar eksklusif. Dengan 97% data masih disimpan di lokasi, mereka memerlukan metode yang efisien untuk mengarsipkan data pemindaian lama tanpa mengorbankan perlindungan IP atau kinerja pengambilan. Dengan memasangkan manajemen data tidak terstruktur dengan penyimpanan Cloudian S3, mereka menerapkan kebijakan data dingin untuk memindahkan file apa pun yang tidak diakses dalam 12 bulan dari server utama. Dengan pelestarian tautan simbolik dan pelacakan metadata, perusahaan memastikan kepatuhan terhadap protokol penanganan IP internal dan mengurangi ketergantungan pada NAS primer yang mahal.

Kesimpulan:Mengubah Data Tidak Terstruktur Menjadi Aset Bisnis Strategis

Di seluruh industri, pengelolaan data tidak terstruktur tidak lagi hanya merupakan taktik penghematan biaya namun juga merupakan faktor strategis. Baik itu mendukung alur kerja AI di bidang asuransi, menjaga kepatuhan terhadap peraturan di bidang layanan kesehatan, atau menyederhanakan infrastruktur di bidang manufaktur, organisasi menyadari perlunya menggabungkan tata kelola data dengan akses dan pergerakan data yang fleksibel.