Menguasai Siklus Hidup Data Science: Panduan Komprehensif
Sejak tibanya big data, ilmu komputer modern telah mencapai kemampuan dan standar daya pemrosesan baru. Bagi saat ini, tidak jarang menemukan aplikasi yang menghasilkan kumpulan data 100 terabyte atau lebih, yang dianggap big data.
Dengan volume informasi yang begitu besar, mudah untuk tidak terorganisir dan membuang waktu dengan konten yang tidak berguna. Ini adalah dua alasan mengapa sangat penting untuk mengikuti metodologi yang meningkatkan efektivitas dan efisiensi proyek big data.
Siklus hidup data science menyediakan kerangka kerja yang membantu mendefinisikan, mengumpulkan, mengorganisir, mengevaluasi, dan menerapkan proyek big data. Ini adalah proses iteratif yang terdiri dari serangkaian langkah yang diatur dalam urutan logis, memfasilitasi umpan balik dan pivoting.
Bagaimana urutan siklus hidup itu terlihat? Jawabannya, tidak ada satu model universal yang diikuti semua orang. Banyak perusahaan yang melakukan proyek big data menyesuaikan siklus hidup data science dengan proses bisnis mereka, biasanya termasuk lebih banyak langkah. Meskipun demikian, semua model dan alur proses yang banyak memiliki penyebut umum. Artikel ini akan menggunakan model proses CRISP-DM, yang merupakan salah satu model siklus hidup data science pertama dan paling populer.
Model CRISP-DM
CRISP-DM adalah singkatan dari Cross Industry Standard Process for Data Mining. Ini pertama kali diterbitkan pada tahun 1999 oleh ESPRIT, program Eropa untuk meningkatkan penelitian dalam teknologi informasi (IT). Model CRISP-DM terdiri dari enam langkah atau fase yang memandu proyek big data. Ini mendorong pemangku kepentingan untuk memikirkan bisnis dengan mengajukan dan menjawab pertanyaan penting tentang masalahnya.
Mari kita tinjau secara detail enam fase dari model CRISP-DM.
Fase 1: Pemahaman Bisnis
Fase pertama terdiri dari beberapa tugas yang mendefinisikan masalah dan menetapkan tujuan. Ini adalah saat tujuan proyek ditetapkan dengan fokus pada bisnis—atau, dengan kata lain, pelanggan. Biasanya, tim yang dikumpulkan untuk bekerja pada proyek big data harus memberikan solusi kepada pelanggan, yang dapat menjadi area atau departemen lain dalam perusahaan.
Setelah kebutuhan bisnis atau masalah telah ditetapkan, langkah berikutnya adalah menentukan kriteria keberhasilan. Ini dapat menjadi indikator kinerja kunci (KPI) atau perjanjian tingkat layanan (SLA), yang menyediakan cara objektif untuk mengevaluasi kemajuan dan penyelesaian.
Selanjutnya, situasi bisnis perlu dianalisis untuk mengidentifikasi risiko, rencana rollback, langkah kontinjensi, dan yang lebih penting, ketersediaan sumber daya. Rencana proyek disusun, termasuk milestone dan sumber daya.
Fase 2: Pemahaman Data
Setelah dasar telah ditetapkan dalam fase sebelumnya, saatnya untuk fokus pada data. Fase ini dimulai dengan definisi awal tentang data yang dianggap diperlukan, dan kemudian mendokumentasikan beberapa spesifik tentangnya: di mana menemukannya, tipe data, format, hubungan di antara berbagai bidang data, dll.
Dengan dokumentasi pertama siap, langkah berikutnya adalah menjalankan pengumpulan data pertama. Ini memberikan cuplikan yang berguna tentang bagaimana struktur terbentuk. Cuplikan informasi ini kemudian dievaluasi untuk kualitasnya.
Fase 3: Persiapan Data
Fase ketiga memperkuat fase sebelumnya dan menyiapkan kumpulan data untuk pemodelan. Bidang data dari pengumpulan pertama dikurasi lebih lanjut, dan informasi yang dianggap tidak perlu dihapus dari himpunan: Ini disebut membersihkan data.
Juga, informasi tertentu mungkin perlu diturunkan dari informasi lain yang tersedia; kadang-kadang harus digabungkan. Dengan kata lain, data perlu diproses untuk menghasilkan format akhir.
Fase 4: Pemodelan
Tugas paling penting dalam fase ini adalah memilih algoritma untuk memproses data yang dikumpulkan. Dalam konteks ini, algoritma adalah serangkaian langkah dan aturan yang diprogram dalam perangkat lunak komputer yang dirancang untuk proyek big data.
Banyak algoritma dapat digunakan: regresi linier, pohon keputusan, dan mesin vektor pendukung adalah beberapa contoh. Memilih algoritma yang tepat untuk menyelesaikan masalah memerlukan keterampilan yang dimiliki oleh ilmuwan data yang berpengalaman.
Langkah berikutnya adalah memasukkan algoritma ke dalam aplikasi perangkat lunak. Ini juga saat fase pengujian direncanakan, yang terdiri dari mengalokasikan kumpulan data tertentu untuk pengujian dan validasi.
Fase 5: Evaluasi
Kadang-kadang, sulit untuk memilih algoritma dari awal. Ketika ini terjadi, ilmuwan menjalankan beberapa algoritma dan menganalisis hasil untuk mencapai keputusan akhir. Setelah fase pengujian selesai, hasil ditinjau untuk kelengkapan dan akurasi.
Yang lebih penting, ini adalah kesempatan untuk menilai apakah hasilnya mengarah ke solusi. Dalam model iteratif, ini adalah persimpangan penting di mana urutan iterasi besar dapat diluncurkan, atau keputusan untuk bergerak menuju fase akhir dapat dicapai.
Fase 6: Penerapan
Ini adalah saat proyek beralih dari lingkungan pengujian ke lingkungan produksi langsung. Perencanaan jadwal dan strategi penerapan sangat penting untuk mengurangi risiko dan potensi downtime sistem.
Meskipun diagram model menunjukkan ini adalah akhir proyek, masih ada banyak langkah yang harus diikuti setelahnya: pemantauan dan pemeliharaan. Pemantauan adalah periode pengamatan yang erat, juga dikenal sebagai hyper care, segera setelah go-live. Pemeliharaan adalah proses semi-permanen untuk memelihara dan meningkatkan solusi yang telah diterapkan.
Big data dinamakan demikian dengan alasan: Ada sejumlah besar data yang harus diurai. Menerapkan salah satu model siklus hidup data science membantu memutuskan informasi mana yang layak untuk disimpan dan digunakan untuk proses seperti pemeliharaan prediktif.
