Alat Pratinjau Ascend untuk Menyederhanakan Manajemen Pipa Data
Aliran Data yang Dapat Dikueri akan secara signifikan mengurangi banyak overhead manual saat ini yang terkait dengan pengelolaan DataOps.
Salah satu hal yang paling berkonspirasi untuk membuat TI jauh lebih gesit daripada yang diinginkan atau dihargai siapa pun adalah semua waktu dan upaya yang digunakan untuk membangun jalur pipa data secara manual. Tidak hanya merupakan tantangan untuk membangun jaringan pipa tersebut sejak awal, menguraikan cara kerjanya dan telah diimplementasikan dapat memakan waktu berhari-hari dan berminggu-minggu.
Untuk mempermudah memodifikasi jalur data yang ada, Ascendis kini menyediakan pratinjau teknis alat yang memungkinkan tim TI untuk meluncurkan kueri secara langsung terhadap jalur data yang dibangun menggunakan Layanan Aliran Data Otonom yang baru saja diluncurkan perusahaan, yang membuatnya lebih mudah untuk membuat jalur pipa menggunakan alat deklaratif pada instans kerangka kerja komputasi dalam memori Apache Spark yang dihosting di cloud publik yang disediakan oleh Amazon Web Services (AWS), Microsoft, atau Google.
Lihat juga: DataOps:Penangkal untuk Saluran Data yang Macet
Dijuluki Queryable Dataflows, kemampuan baru ini akan secara signifikan mengurangi banyak overhead manual saat ini yang terkait dengan pengelolaan DataOps, kata CEO Ascend Sean Knapp.
Alur Data yang Dapat Dikueri memungkinkan tim DataOps untuk menjelajahi dan membuat profil kumpulan data mentah yang besar secara bertahap saat mereka membangun. Kemampuan itu tidak hanya mempermudah pembuatan saluran pipa baru dengan lebih cepat, tetapi juga dapat digunakan untuk memastikan hasil adalah hasil yang akurat sebelum memaparkan data ke aplikasi hilir.
Pipeline sekarang dapat menangani staging dan eksplorasi dengan cara melepaskan aktivitas tersebut dari gudang data. Selain itu, kueri interaktif dapat segera dipindahkan ke produksi sebagai tahapan dalam Layanan AutonomousDataflow untuk menghilangkan pengodean ulang dan pemrosesan ulang.
Alur Data yang Dapat Dikueri juga membantu mengoptimalkan analisis dan pelaporan operasional. Analis data dan ilmuwan juga dapat terhubung langsung ke tahapan pipeline tanpa harus terlebih dahulu memuat data ke dalam gudang, yang berarti mereka dapat menggunakan alat pilihan mereka untuk mengakses data.
Alat generasi sebelumnya untuk mengelola saluran pipa data, sebagai perbandingan, tidak lebih dari penjadwal pekerjaan yang dimuliakan, kata Knapp.
DataOps sebagai disiplin TI berada di bawah tekanan yang meningkat karena laju perubahan yang terjadi dalam lingkungan TI telah dipercepat. Sebagian berkat munculnya proses DevOps dan layanan mikro, laju di mana jalur pipa data perlu dioptimalkan atau diperbarui telah meningkat secara eksponensial. Pembaruan manual pada pipeline data akan menciptakan beberapa titik gesekan yang sangat dapat diprediksi antara DataOps dan DevOps, kata Knapp.
“DataOps dan DevOps perlu diselaraskan,” kata Knapp.
Faktanya, kurangnya harmoni itulah yang menyebabkan pengembang sering mencoba dan mengakhiri menjalankan tim TI internal dengan menggunakan basis data sumber terbuka untuk membangun aplikasi hanya untuk menemukan dari waktu ke waktu bahwa basis data tidak berskala untuk memenuhi tuntutan aplikasi. Kemudian mereka akhirnya harus terlibat kembali dengan tim TI internal untuk memindahkan aplikasi tersebut ke platform seperti ApacheSpark atau database lainnya.
Tidak jelas sampai sejauh mana DataOps dan DevOps akan bertemu suatu hari nanti. Untuk saat ini, kedua area tersebut kemungkinan akan tetap menjadi domain mereka sendiri. Namun, juga sangat jelas bahwa proses DataOps perlu ditingkatkan ke titik di mana pembangunan jalur pipa data tidak lagi menjadi hambatan utama yang menahan modernisasi TI.
