Jalur Cloud-Native ke Data Di Mana Saja

Merancang dengan Kubernetes adalah inti yang sangat diperlukan yang membuat analisis data menjadi sangat fleksibel, berjalan di mana saja pada titik kebutuhan bisnis—dan melakukannya dalam skala dan pada konkurensi, kinerja, efisiensi, dan ketersediaan tinggi.

Ribuan perusahaan di vertikal mulai dari layanan keuangan dan asuransi hingga manufaktur dan perawatan kesehatan menemukan bahwa mereka membutuhkan cloud publik dan pribadi, hybrid, dan penerapan edge agar paling sesuai dengan kebutuhan manajemen data dan analitik mereka. Jadi tidak mengherankan jika konsep cloud terdistribusi adalah bagian dari pematangan cloud. Membawa gudang data, data lake, dan analitik tingkat lanjut ke arsitektur cloud terdistribusi adalah tujuan pasar. Memperluas arsitektur ini untuk mencakup manajemen data dan layanan analitik tingkat yang lebih tinggi secara alami mengarah pada gagasan cloud data terdistribusi . Dalam cloud data terdistribusi, gudang data perusahaan tidak hanya akan digunakan untuk menyediakan analitik kepada beberapa ratus analis bisnis atau ilmuwan data di sebuah perusahaan, tetapi pada akhirnya akan mampu mendukung aplikasi analitik waktu nyata yang digunakan secara langsung oleh perusahaan. pelanggan yang jumlahnya puluhan ribu. Data akan segera dapat diakses—dan menghasilkan wawasan—di mana saja.

Lihat juga: Tren Adopsi Cloud tahun 2021 Diperkuat pada 2022

Menjelajahi tujuan

Cloud-native adalah istilah yang sering dilontarkan, tetapi memiliki arti sebenarnya ketika arsitektur perangkat lunak dirancang dari bawah ke atas untuk memanfaatkan manfaat cloud terdistribusi. Gudang data cloud-native yang direalisasikan sepenuhnya harus secara logis memanfaatkan arsitektur cloud data terdistribusi. Dalam istilah yang paling luas, yang membawa analitik ke data di mana pun ia berada (bukan sebaliknya), mengurangi risiko konsentrasi, secara dramatis meningkatkan efisiensi, dan mengantar modernisasi untuk pembelanjaan terkontrol dan keunggulan kompetitif.

Untuk memperjelasnya, manajemen data dan teknologi analitik cloud-native harus menampilkan lima ciri utama agar selaras dengan cetak biru cloud data terdistribusi:

• Waktu proses agnostik platform yang memungkinkan penyediaan data dan analitik di mana saja
• Pengalaman pengguna yang umum di mana saja
• Fitur keamanan dan tata kelola umum pada semua target penerapan
• Efisiensi biaya dan teknologi di mana saja, meminimalkan sumber daya dan memungkinkan manajemen biaya yang kuat (FinOps) dan pagar pembatas pengeluaran
• Satu bidang kontrol, menyatukan semua penerapan, cloud publik, lokal, dan di tepi jaringan

Dapat diterapkan pada titik yang dibutuhkan di mana saja, gudang data cloud-native yang direalisasikan sepenuhnya mengikuti pola ini juga akan menghilangkan kompleksitas infrastruktur cloud, lokal, dan jaringan tepi dari pengguna akhir. Intinya adalah untuk membebaskan mereka dari detail infrastruktur dan memungkinkan mereka untuk fokus menghasilkan nilai dari analitik dan mengelola data sambil tetap memberikan kekuatan asli cloud.

Memilih panduan yang tepat

Jadi, bagaimana tujuan itu tercapai? Kubernetes, alat orkestrasi container open-source, menyediakan jalur paling populer untuk operasi cloud-native. Meskipun gagasan untuk mempartisi beban kerja di Unix telah ada sejak tahun 1970-an, baru sekitar satu dekade yang lalu container diimplementasikan secara luas untuk membuat pengembangan aplikasi menjadi lebih mudah, lebih portabel, dan efisien dalam penggunaan sumber daya. Tetapi menyebarkan ratusan atau ribuan aplikasi di arsitektur layanan mikro yang luas terbukti sangat rumit. Sementara opsi lain ada, proyek Kubernetes open-source Google, sekarang dikelola oleh Cloud Native Computing Foundation, menjadi terkenal untuk memecahkan orkestrasi aplikasi layanan mikro—memungkinkan aplikasi untuk berjalan di infrastruktur umum, dipantau dan dikelola dengan cara standar, dan diautentikasi menggunakan standar terbuka.

Itu bagus dan bagus untuk aplikasi. Tapi bagaimana dengan dunia data? Orkestrasi container dasar yang sama diperlukan untuk gudang data cloud-native untuk menawarkan elastisitas dan fleksibilitas penerapan di cloud publik dan pribadi, edge jaringan, hybrid, dan cloud terdistribusi penuh.

Arsitektur ulang cloud-native untuk aplikasi web scale-out adalah hal yang biasa, tetapi database sebagian besar baru saja “diangkat-dan-digeser” ke dunia cloud-native. Memasukkan database ke dalam wadah memungkinkannya berjalan di infrastruktur modern, tetapi tidak menawarkan pengalaman yang menunjukkan semua manfaat cloud. Perangkat lunak ini sebagian besar mengabaikan fakta bahwa itu berjalan di lingkungan kontainer, dan operasi seperti mengelola klaster elastis harus ditangani dengan kikuk dari luar database dengan tangan menggunakan Operator dan meretas grafik Helm. Fitur seperti memungkinkan beberapa cluster komputasi sesuai permintaan yang elastis untuk berbagi data dasar yang sama dalam penyimpanan objek seringkali tidak tersedia. Pengguna yang ingin mendapatkan nilai bisnis dari gudang data berbasis cloud yang elastis tidak ingin tahu tentang diagram Helm, pod, node, atau file konfigurasi. Mereka hanya ingin menyediakan gudang data, mengelola cluster elastis, dan mendapatkan wawasan dari data mereka.

Menyediakan antarmuka SQL melalui Kubernetes untuk menyediakan beberapa cluster elastis sesuai permintaan dan untuk menyembunyikan kompleksitas Kubernetes dari DBA dan pengguna akhir adalah jawabannya.

Dengan cara ini, pengguna yang berbeda dapat ditugaskan untuk menjalankan beban kerja pada cluster komputasi yang berbeda, dan cluster komputasi yang digunakan dapat diubah pada waktu proses melalui SQL, tergantung pada izin. Cluster dapat dikonfigurasi untuk secara otomatis ditangguhkan setelah periode idle dan berputar kembali sesuai permintaan. Misalnya, cluster komputasi terpisah dapat dibuat untuk menjalankan proses ETL bila diperlukan, satu untuk business intelligence (BI) ad-hoc dan beberapa cluster ilmu data. Cluster komputasi dapat diperluas secara online selama periode penggunaan yang berat atau dimatikan selama periode tenang untuk menghemat uang. Cluster dapat dibuat untuk menjalankan tugas pelaporan batch harian, mingguan, atau bulanan yang hanya aktif selama periode waktu tersebut. Baik ukuran node dalam cluster komputasi, serta jumlah node, dapat dikontrol dalam model ini, dan batas konsumsi sumber daya dapat ditetapkan pada tingkat instans untuk prediktabilitas. Demikian pula, dimungkinkan untuk menyiapkan sistem replika berbiaya rendah yang menerima lalu lintas replikasi dari instance gudang data primer, yang kemudian dapat ditingkatkan sesuai permintaan saat replika perlu digunakan.

Elastisitas semacam ini diimplementasikan tidak hanya dengan mengintegrasikan secara mendalam dengan Kubernetes tetapi dengan menggunakan SQL itu sendiri sebagai "antarmuka pengguna" untuk membuat, menangguhkan, melanjutkan, dan mengelola cluster alih-alih alat pengembang. Kubernetes adalah sumber kebenaran otoritatif untuk status semua cluster. Tampilan sistem yang menunjukkan status cluster, sumber datanya dari Kubernetes menggunakan API-nya. Saat pernyataan SQL manajemen klaster dimasukkan, gudang data cloud-native menghubungi Kubernetes untuk mengubah status instance yang diinginkan; Kubernetes kemudian mengimplementasikan perubahan yang diperlukan. Jika sebuah node di cluster menjadi tidak sehat, Kubernetes akan menghadirkan penggantinya secara online.

Ini mewakili hubungan luar-dalam yang unik dengan Kubernetes:Alih-alih Kubernetes menjadi 'antarmuka pengguna' untuk mengarahkan status cluster, database itu sendiri, yang dikelola oleh Kubernetes, menjadi antarmuka pengguna. Arsitektur ini menciptakan hubungan simbiosis yang menghadirkan pengalaman cloud yang unik dan terwujud sepenuhnya. Kekuatan dan fleksibilitas lintas-platform Kubernetes tersedia untuk gudang data, didorong sepenuhnya melalui SQL.

Karena lebih banyak data dihasilkan dan lebih banyak kasus penggunaan diterapkan, mudah bagi perusahaan untuk memasuki lingkaran setan di mana ekosistem mereka semakin mengakar dalam cloud tertentu. Risiko sistemik dapat muncul di cloud tunggal yang menghadirkan terlalu banyak eksposur untuk infrastruktur TI penting di sektor yang sangat diatur seperti layanan keuangan dan asuransi. Merancang dengan Kubernetes bukan satu-satunya konsep inti yang menghidupkan gudang data asli-cloud sepenuhnya. Ini bukan satu-satunya komponen arsitektur yang selaras dengan pola cloud data terdistribusi. Tapi itu adalah inti yang sangat diperlukan yang membuat analisis data menjadi sangat fleksibel, berjalan di mana saja pada titik kebutuhan bisnis—dan melakukannya pada skala dan pada konkurensi, kinerja, efisiensi, dan ketersediaan tinggi. Hasilnya adalah ribuan pengguna di perusahaan mana pun, lintas lini bisnis dan wilayah geografis yang berbeda, dapat membuat keputusan yang sangat cepat dan menghasilkan nilai dari analitik yang sedang berjalan dalam waktu dekat.