Percepat Analisis Data Skalabel di Mana Pun dengan Arsitektur Cloud-Native

Merancang arsitektur dengan Kubernetes adalah inti yang tak tergantikan yang membuat analisis data sangat fleksibel, berjalan di mana saja pada titik kebutuhan bisnis—dan melakukannya dalam skala dan dengan tingkat concurrency, performa, efisiensi, dan ketersediaan yang tinggi.

Ribuan perusahaan di berbagai vertikal, mulai dari jasa keuangan dan asuransi hingga manufaktur dan kesehatan, menemukan bahwa mereka membutuhkan publik dan private cloud, hibrid, dan edge deployment yang paling sesuai dengan kebutuhan manajemen dan analisis data mereka. Jadi tidak heran jika konsep distributed cloud adalah bagian dari maturitas cloud. Membawa data warehouse, data lake, dan analisis canggih ke arsitektur distributed cloud adalah arah yang diambil pasar. Memperluas arsitektur ini untuk mencakup layanan manajemen dan analisis data yang lebih tinggi secara alami mengarah ke ide distributed data cloud. Dalam distributed data cloud, enterprise data warehouse tidak hanya akan digunakan untuk menyediakan analisis untuk beberapa ratus analis bisnis atau ilmuwan data di suatu perusahaan, tetapi pada akhirnya akan dapat mendukung aplikasi analitik real-time yang digunakan langsung oleh pelanggan akhir perusahaan yang berjumlah puluhan ribu. Data akan segera dapat diakses—dan menghasilkan wawasan—di mana saja.

Lihat juga: Tren Adopsi Cloud 2021 Membesar di 2022

Menjelajahi tujuan

Cloud-native adalah istilah yang sering digunakan, tetapi memiliki arti nyata ketika arsitektur perangkat lunak dirancang dari dasar untuk memanfaatkan manfaat distributed cloud. Sebuah data warehouse cloud-native yang sepenuhnya terwujud seharusnya secara logis memanfaatkan arsitektur distributed data cloud. Dalam hal yang paling luas, ini membawa analisis ke data di mana pun ia berada (bukan sebaliknya), mengurangi risiko konsentrasi, meningkatkan efisiensi secara dramatis, dan mempelai modernisasi untuk pengeluaran yang terkontrol dan keunggulan kompetitif.

Untuk lebih jelas, teknologi manajemen dan analisis data cloud-native harus menampilkan lima karakteristik utama untuk selaras dengan blueprint distributed data cloud:

• Runtime yang agnostik platform yang memungkinkan penyediaan data dan analisis di mana saja
• Pengalaman pengguna yang sama di mana saja
• Fitur keamanan dan tata kelola yang sama pada setiap target deployment
• Efisiensi biaya dan teknologi di mana saja, meminimalkan sumber daya dan memungkinkan manajemen biaya yang kuat (FinOps) serta pengawalan pengeluaran
• Satu control plane yang mengikat semua deployment, publik cloud, on-premises, dan di tepi jaringan

Dapat di-deploy di titik kebutuhan di mana saja, sebuah data warehouse cloud-native yang sepenuhnya terwujud mengikuti pola ini juga akan mengabstraksi kompleksitas infrastruktur cloud, on-premises, dan tepi jaringan dari pengguna akhir. Tujuannya adalah melepaskan mereka dari detail infrastruktur dan membiarkan mereka fokus pada menghasilkan nilai dari analisis serta mengelola data sambil tetap memberikan kekuatan asli cloud.

Memilih panduan yang tepat

Jadi, bagaimana tujuan itu tercapai? Kubernetes, alat orkestrasi kontainer open source, memberikan jalur paling populer menuju operasi cloud-native. Meskipun ide partisi beban kerja di Unix ada sejak tahun 1970, baru sekitar satu dekade yang lalu kontainer secara luas diimplementasikan untuk membuat pengembangan aplikasi lebih mudah, lebih portabel, dan efisien dalam penggunaan sumber daya. Namun, mem-deploy ratusan atau ribuan aplikasi di seluruh arsitektur mikroservis yang luas terbukti sangat sulit. Meskipun opsi lain ada, proyek open source Kubernetes dari Google, yang sekarang dipelihara oleh Cloud Native Computing Foundation, naik ke puncak untuk menyelesaikan orkestrasi aplikasi mikroservis—memungkinkan aplikasi berjalan pada infrastruktur generik, dipantau dan dikelola dengan cara standar, dan diotentikasi menggunakan standar terbuka.

Itu baik-baik saja untuk aplikasi. Tapi bagaimana dengan dunia data? Mesin orkestrasi kontainer yang sama diperlukan untuk data warehouse cloud-native untuk menawarkan elastisitas dan fleksibilitas deployment di seluruh publik dan private cloud, tepi jaringan, hibrid, dan cloud yang sepenuhnya terdistribusi.

Re-arsitektur cloud-native untuk aplikasi web scale-out sudah umum, namun database sebagian besar hanya “ditransfer” ke dunia cloud-native. Menempatkan database ke dalam kontainer memungkinkan berjalan di infrastruktur modern, tetapi tidak menawarkan pengalaman yang menunjukkan semua manfaat cloud. Perangkat lunak sebagian besar tidak menyadari fakta bahwa berjalan di lingkungan kontainer, dan operasi seperti mengelola klaster elastis harus ditangani secara malap dari luar database secara manual menggunakan Operators dan hacking Helm charts. Fitur seperti memungkinkan beberapa klaster komputasi on-demand elastis untuk berbagi data dasar yang sama di penyimpanan objek seringkali tidak tersedia. Pengguna yang mencari nilai bisnis dari data warehouse berbasis cloud yang elastis tidak ingin mengetahui tentang Helm charts, pods, nodes, atau berkas konfigurasi. Mereka hanya ingin menyediakan data warehouse, mengelola klaster elastis, dan mendapatkan wawasan dari data mereka.

Menyediakan antarmuka SQL melalui Kubernetes untuk menyediakan beberapa klaster elastis on demand dan menyembunyikan kompleksitas Kubernetes dari DBA dan pengguna akhir adalah jawabannya.

Dengan cara ini, pengguna yang berbeda dapat ditugaskan untuk menjalankan beban kerja pada klaster komputasi yang berbeda, dan klaster komputasi yang digunakan dapat diubah pada waktu proses melalui SQL, tunduk pada izin. Klaster dapat dikonfigurasi untuk secara otomatis tertangguh setelah periode idle dan menyala kembali on demand. Misalnya, klaster komputasi terpisah dapat dibuat untuk menjalankan proses ETL saat diperlukan, satu untuk bisnis intelijen (BI) ad-hoc dan beberapa klaster ilmu data. Klaster komputasi dapat diperluas secara online selama periode penggunaan yang padat atau dimatikan selama periode sepi untuk menghemat biaya. Klaster dapat dibuat untuk menjalankan tugas pelaporan batch harian, mingguan, atau bulanan yang hanya aktif selama periode waktu tersebut. Baik ukuran node dalam klaster komputasi, maupun jumlah node, dapat dikontrol dalam model ini, dan batas konsumsi sumber daya dapat ditetapkan pada tingkat instance untuk kejelasan. Demikian pula, mungkin untuk mengatur sistem replika biaya rendah yang menerima lalu lintas replikasi dari instance data warehouse utama, yang kemudian dapat diskalakan naik on demand saat replika perlu digunakan.

Elastisitas jenis ini diimplementasikan tidak hanya dengan integrasi mendalam dengan Kubernetes tetapi dengan menggunakan SQL itu sendiri sebagai “antarmuka pengguna” untuk membuat, menangguhkan, melanjutkan, dan mengelola klaster alih-alih alat pengembang. Kubernetes adalah sumber kebenaran otoritatif untuk status semua klaster. Tampilan sistem yang menunjukkan status klaster mengambil datanya dari Kubernetes menggunakan API-nya. Pernyataan manajemen klaster SQL dimasukkan, data warehouse cloud-native mencapai ke Kubernetes untuk mengubah status diinginkan suatu instance; Kubernetes kemudian mengimplementasikan perubahan yang diperlukan. Jika sebuah node dalam klaster menjadi tidak sehat, Kubernetes akan membawa pengganti online.

Ini mewakili hubungan unik dari dalam ke luar dengan Kubernetes: Alih-alih Kubernetes sebagai ‘antarmuka pengguna’ untuk mengarahkan status klaster, database itu sendiri, yang dikelola oleh Kubernetes, menjadi antarmuka pengguna. Arsitektur ini menciptakan hubungan simbiotik yang memberikan pengalaman cloud unik yang sepenuhnya terwujud. Kekuatan dan fleksibilitas lintas platform Kubernetes menjadi tersedia untuk data warehouse, dijalankan sepenuhnya melalui SQL.

Semakin banyak data dihasilkan dan lebih banyak use case diterapkan, mudah bagi perusahaan untuk masuk ke dalam siklus vicioso di mana ekosistem mereka semakin tertanam dalam cloud tertentu. Risiko sistemik dapat muncul di cloud tunggal yang menampilkan terlalu banyak paparan untuk infrastruktur TI kritis di sektor yang sangat diatur seperti jasa keuangan dan asuransi. Merancang arsitektur dengan Kubernetes bukanlah konsep inti satu-satunya yang menghidupkan data warehouse cloud-native yang sepenuhnya terwujud. Ini bukan komponen arsitektur satu-satunya yang selaras dengan pola distributed data cloud. Namun, ini adalah inti yang tak tergantikan yang membuat analisis data sangat fleksibel, berjalan di mana saja pada titik kebutuhan bisnis—dan melakukannya dalam skala dan dengan tingkat concurrency, performa, efisiensi, dan ketersediaan yang tinggi. Kesimpulannya adalah ribuan pengguna di setiap perusahaan, di berbagai garis bisnis dan wilayah geografis, dapat membuat keputusan yang sangat cepat dan menghasilkan nilai dari analisis yang bergerak dalam waktu dekat real-time.