Otomatisasi Kualitas Data untuk Mempercepat Keberhasilan AI & ML
Selama sepuluh tahun terakhir, perusahaan mulai memahami dan membuka potensi yang dapat dibawa oleh kecerdasan buatan (AI) dan machine learning (ML). Meskipun masih dalam tahap awal, perusahaan mulai memahami dampak signifikan yang dapat dibawa teknologi ini, membantu mereka membuat keputusan yang lebih baik, lebih cepat dan lebih efisien.
Tentu saja, AI dan ML bukan peluru perak untuk membantu bisnis menerima inovasi. Faktanya, keberhasilan algoritma ini hanya baik seperti fondasinya — khususnya, data berkualitas.
Tanpa itu, bisnis akan melihat tujuan yang telah mereka pasang AI dan ML untuk dilakukan gagal, dengan konsekuensi yang tidak terduga dari data buruk yang menyebabkan kerusakan yang tidak dapat diperbaiki pada bisnis baik dari segi efisiensi maupun reputasi.
Namun ada area eksplorasi lain yang matang untuk dikembangkan; yaitu, apakah kualitas data dapat ditingkatkan dan dipelihara oleh otomatisasi dan machine learning itu sendiri?
Risiko kualitas data buruk
Dari layanan streaming film, hingga chatbot, hingga membantu memberi tahu bagaimana supermarket menata rak mereka dan memandu kita melalui hub transportasi besar, ML mempengaruhi kehidupan kita dengan cara yang tidak terbayangkan sepuluh tahun yang lalu.
Tapi apa yang terjadi jika algoritma diatur untuk bekerja pada fondasi kualitas data buruk? Risiko di masa depan bisa jauh lebih parah daripada disajikan film yang tidak Anda sukai.
Jika kita mulai mempercayai machine learning untuk meningkatkan penemuan dan pengujian farmasi, misalnya, apa yang akan terjadi jika obat dirumuskan tetapi terdapat kesalahan dalam data senyawa kimia yang digunakan untuk mensimulasikan pengujian? Implikasinya bisa sangat serius.
Suatu aplikasi ML yang muncul yang juga bisa terpengaruh oleh data dasar yang buruk adalah kendaraan bermotor otonom. Dari peta dan alamat hingga bagaimana kendaraan bereaksi terhadap sepeda motor, data yang digunakan untuk mengajar mesin akan krusial bagi adopsi konsumen dan regulator.
Algoritma ML — kumpulan aturan dan perhitungan yang membantu menyelesaikan masalah yang didefinisikan — dapat mendukung peningkatan kualitas data atau terganggu oleh data yang tidak akurat jika kemungkinan data buruk tidak dipertimbangkan dalam konstruksinya.
Kualitas data otomatis
Seperti transformasi digital apa pun, beralih dari manual ke otomatis dan kemudian ‘cerdas’ manajemen kualitas data akan memerlukan rencana jangka panjang. Experian telah mengidentifikasi empat tahap tentang progresi manajemen data, yang kami sebut Kurva Kematangan Manajemen Data. Tidak Sadar, Reaktif, Proaktif dan Dioptimalkan & Teratur mencermuti empat tahap yang mencakup siklus penuh dari strategi kualitas data.
Penilaian telah mengungkapkan progresi yang stabil naik kurva kematangan, saat organisasi mulai melepaskan potensi data yang mereka miliki dan mengambilnya lebih serius. Yang paling menarik dari semua, mereka yang berada di tahap Dioptimalkan & Teratur, mungkin melihat awal dari tingkat lain, sesuatu yang dapat disebut ‘secara cerdas diotomatisasi.’
‘Secara cerdas diotomatisasi’ merujuk pada memiliki sistem dan proses yang ada untuk membantu orang yang bertanggung jawab atas kualitas data mengidentifikasi di mana kekhawatiran terbesar mereka. Kita semua seharusnya sekarang meninjau metrik kinerja kunci secara teratur untuk mengidentifikasi tren dalam kualitas data, mungkin melihat tingkat penyelesaian keseluruhan atribut kunci, atau memantau apakah ada kekhawatiran waktu dengan penerimaan data atau tahap pemuatan data. Tetapi untuk benar-benar memahami kualitas data Anda memerlukan kita untuk melihat lebih dalam ke dalam konten.
Misalnya, apakah cukup untuk mengatakan bahwa Anda telah mengumpulkan tanggal lahir untuk memenuhi persyaratan data pihak ketiga dalam 99% kasus, ketika proporsi besar tanggal yang Anda kumpulkan adalah sistem derived dan oleh karena itu bukan tanggal lahir yang sebenarnya? Ini dapat menyebabkan masalah nyata dan konsekuensi yang tidak diinginkan dapat merambat melalui proses pengambilan keputusan Anda.
Langkah berikutnya
Sebagian besar program kualitas data sudah berisi elemen otomatisasi dan tes dan pelajari. Tahap berikutnya dalam evolusi ini adalah penggunaan machine learning untuk secara otomatis mengenali dan bereaksi terhadap berbagai jenis data — ‘secara cerdas diotomatisasi.’
Misalnya, alat manajemen data yang dapat mengenali informasi standar seperti alamat, email, nomor kartu kredit, atau nomor asuransi nasional dengan sedikit pelatihan atau penulisan aturan sebelum mengambil tindakan seperti memvalidasi entri atau melaporkan masalah kepatuhan kepada manajer.
Tujuan akhirnya adalah ML untuk kualitas data yang kemudian meningkatkan dirinya sendiri seiring waktu. Contoh yang baik dari ini adalah nama perusahaan — apakah Tesco PLC sama dengan Tesco Stores Ltd? Bagaimana dengan bagian dari grup Tesco yang tidak memiliki kata ‘Tesco’ dalam nama perusahaan?
Mengelompokkan entitas komersial bersama dapat semudah mencari nama, atau lebih kompleks dengan melihat detail rekening perusahaan, alamat kantor pusat, nama CEO, alamat web dan metadata lainnya untuk menemukan asosiasi di seluruh dunia.
Hipotesis jenis ini adalah tantangan bisnis yang dapat didukung oleh strategi data yang kuat. Namun, apakah kita dapat berindah ke tempat di mana kita dapat mengotomatisasi pembelajaran ini dan meningkatkan kualitas data kita seiring waktu dengan usaha manual yang lebih sedikit, memberi orang data kita lebih banyak waktu untuk menganalisis dan mendukung bisnis?
Itulah tantangan untuk ML — mengambil aturan dasar untuk kualitas data, mengimplementasikannya dan kemudian menyarankan perbaikan seiring perubahan data di dunia nyata menjadi terlihat sebagai pengecualian atau outlier. Ini adalah subjek yang muncul dan salah satu yang kami harapkan akan melihat banyak perkembangan dalam tahun-tahun mendatang.
Strategi data Anda
Secara mendasar, setiap contoh ML bergantung pada data yang cocok untuk tujuan — jika tidak data itu, dan akibatnya, keputusan yang dibuat karena itu, tidak dapat dipercaya.
Untuk menghindari ini, organisasi perlu memastikan mereka memiliki strategi data yang kuat. Pikirkan alasan untuk memulai ML; apa hasil yang dapat dijelaskan yang ingin mereka capai dan hindari?
Kemudian, dengan melakukan penilaian awal terhadap data Anda untuk mengecek kualitas apa yang sudah mereka miliki, organisasi dapat mengambil tindakan dan merencanakan apa lagi yang mereka butuhkan untuk meningkatkan kualitas data keseluruhan.
Dapat mengidentifikasi dan melacak keputusan yang dibuat melalui ML — dan semua proses pengambilan keputusan otomatis — sangat penting jika akan diadopsi dan diterapkan dengan sukses.
Pemantauan berkelanjutan kualitas data juga sangat penting. Dengan melakukan ini Anda akan dapat dengan cepat mengidentifikasi area mana yang memerlukan perhatian dan terjamin bahwa Anda dalam posisi terbaik dengan inisiatif ML saat ini dan potensial.
Kemudian, organisasi akan berada dalam posisi untuk ML memungkinkan mereka untuk mengelola kualitas data mereka dengan lebih efisien, membuat proses pengambilan keputusan mereka lebih cepat dan lebih baik.
Mengambil ini ke kesimpulan logisnya, menggunakan machine learning dapat membantu kita mengidentifikasi kekhawatiran data yang tetap tersembunyi sampai menjadi masalah nyata. Jika kita dapat melatih model untuk mengidentifikasi atribut kunci yang dapat mempengaruhi keputusan atau proses di jalan yang akan datang, dan kemudian memantau fluktuasi atau pola yang mengkhawatirkan, kita bahkan mungkin dapat memprediksi dampak kekhawatiran data ini pada bisnis Anda.
Misalnya, jika kita tahu bahwa jumlah kamar tidur di properti secara langsung mempengaruhi keputusan dalam bisnis kita, dan kita menetapkan bahwa kita memiliki data yang tidak lengkap atau perkiraan di bidang ini hingga skala tertentu yang semakin buruk, apakah kita dapat memprediksi, berdasarkan di mana kita tahu data digunakan, estimasi penghasilan sewa, penilaian hipotek, atau prediksi konsumsi pemanasan?
Dampak dari kekhawatiran kualitas data yang berkembang ini, dapat membantu membangun kasus bisnis untuk memperbaikinya sekarang daripada saat menjadi masalah nyata.
