Penjelasan Neoclouds:Mengapa AI Membutuhkan Cloud Computing yang Berfokus pada GPU
Beban kerja AI menjadi hal yang umum di hampir setiap industri. Namun seiring dengan meningkatnya permintaan terhadap AI, beban terhadap infrastruktur juga meningkat. Sayangnya, pilihan-pilihan tradisional untuk mengakses komputasi berkinerja tinggi tidak lagi tersedia, sehingga dunia usaha harus mencari alternatif lain. Beberapa diantaranya beralih ke neoclouds, yaitu penyedia layanan komputasi jenis baru yang berpusat pada penawaran yang berpusat pada GPU.
Penyedia baru ini semakin diminati karena adanya pergeseran dalam bidang komputasi; yang ditandai dengan semakin meningkatnya ketergantungan pada GPU untuk AI. Meskipun GPU sangat cocok untuk menangani kebutuhan pemrosesan paralel dalam pelatihan dan inferensi AI, GPU tersebut terkenal mahal dan persediaannya terbatas. GPU kelas atas bisa berharga puluhan ribu dolar, dan itu hanya jika perusahaan dapat menemukannya. Siklus pengadaannya panjang, waktu tunggu tidak dapat diprediksi, dan tim TI perusahaan sering kali kesulitan mendapatkan kapasitas yang memadai untuk memenuhi permintaan.
Penyedia cloud hyperscale, seperti AWS, Google Cloud, dan Azure, telah berupaya mengisi kesenjangan tersebut dengan menawarkan instance GPU dan GPU sebagai layanan. Bagi banyak organisasi, model ini berhasil, namun hanya sampai pada titik tertentu.
Instans GPU berbasis cloud menawarkan fleksibilitas, skalabilitas, dan penerapan cepat. Namun seiring bertambahnya penggunaan, tagihan juga meningkat. Model bayar sesuai penggunaan dengan cepat menjadi sangat mahal dalam skala besar, terutama untuk beban kerja berkelanjutan seperti pelatihan model bahasa besar (LLM), penyesuaian, atau inferensi real-time di seluruh aplikasi perusahaan.
Akibatnya, banyak organisasi terjebak dalam situasi sulit (infrastruktur lokal yang langka dan mahal) dan situasi sulit (biaya GPU cloud publik yang tinggi).
Masuk ke Neoclouds
Dalam lingkungan ini, muncul kategori baru penyedia komputasi:penyedia neocloud. Penyedia infrastruktur Neocloud menawarkan komputasi berkinerja tinggi, yang sangat berpusat pada GPU, dengan harga yang lebih terjangkau (setidaknya menurut mereka). Mereka mencapai hal ini dengan memanfaatkan asal usul yang tidak konvensional, model ekonomi baru, dan strategi infrastruktur yang berbeda.
Misalnya, beberapa neocloud menelusuri akarnya kembali ke penambangan mata uang kripto. Selama booming cryptocurrency pada dekade terakhir, ribuan penambang di seluruh dunia membangun pusat data yang dilengkapi dengan server GPU yang dioptimalkan untuk operasi penambangan. Ketika pasar mata uang kripto mendingin dan penambangan menjadi kurang menguntungkan, operator-operator ini mendapati diri mereka memiliki kapasitas GPU yang menganggur dalam jumlah besar. Daripada membiarkan perangkat keras ini terdepresiasi di gudang, beberapa orang menggunakan kembali peralatan mereka untuk beban kerja AI, dan dengan demikian, lahirlah neocloud.
Perusahaan rintisan lainnya adalah startup yang dibangun khusus dan melihat peluang untuk menawarkan alternatif yang lebih hemat biaya dibandingkan hyperscaler dengan mengoptimalkan kinerja harga dan memotong biaya overhead operasi cloud lama. Beberapa diantaranya membangun tumpukan perangkat lunak sumber terbuka dan berkolokasi di pusat data berbiaya rendah; yang lainnya mengumpulkan kelebihan kapasitas GPU di seluruh jaringan yang terdesentralisasi, sehingga membentuk semacam “pasar spot GPU” yang dapat dimanfaatkan oleh perusahaan dengan biaya lebih rendah.
Manfaat Model Neoclouds
Bagi bisnis yang mencari kekuatan komputasi AI tanpa biaya selangit, penyedia neocloud mengklaim bahwa mereka dapat memberikan beberapa manfaat, termasuk:
Biaya lebih rendah per Jam GPU :Neoclouds sering kali membebankan biaya lebih kecil dari apa yang dilakukan hyperscaler untuk instance GPU serupa. Mereka mengklaim bahwa model operasi ramping dan strategi penggunaan kembali perangkat keras menghasilkan penghematan nyata.
Akses Khusus :Dalam banyak kasus, penyedia neocloud menawarkan akses bare metal khusus ke GPU, sehingga mengurangi perselisihan dan memastikan performa yang dapat diprediksi.
Ketersediaan Cepat :Dengan proses pengadaan dan penyediaan yang fleksibel, penyedia neocloud mengklaim bahwa mereka sering kali dapat memberikan kapasitas lebih cepat dibandingkan vendor tradisional, sehingga membantu tim melakukan iterasi dan penerapan model AI tanpa penundaan.
Desentralisasi dan Ketahanan :Beberapa neocloud beroperasi pada model terdistribusi, mengambil sumber komputasi dari pusat data yang berbeda secara geografis atau jaringan operator independen.
Keberlanjutan :Penggunaan kembali perangkat keras yang ada, khususnya dari industri mata uang kripto, akan mengurangi limbah elektronik dan mendorong praktik TI yang lebih berkelanjutan. Beberapa awan neo juga ditempatkan di fasilitas yang menggunakan energi terbarukan, sehingga semakin menurunkan jejak karbon.
Lihat juga: Pergeseran Pasar GPU:Memanfaatkan Jatuhnya Penambangan Kripto
GPU sebagai Layanan, Konsep Baru
Pada intinya, neocloud mewakili pandangan baru pada model GPU-as-a-Service. Perusahaan yang dianggap sebagai penyedia neocloud antara lain CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai, dan lainnya.
Mereka kurang fokus pada menggabungkan GPU dengan layanan eksklusif dan lebih tertarik untuk menghadirkan komputasi mentah berperforma tinggi dengan harga terjangkau yang membuat AI skala besar dapat digunakan oleh lebih banyak bisnis.
Dengan mendemokratisasi akses terhadap GPU yang terjangkau, penyedia neocloud yakin bahwa mereka dapat menurunkan hambatan masuk bagi perusahaan yang ingin membangun atau menskalakan aplikasi AI. Startup kecil dapat melatih model khusus tanpa menghabiskan dana awal mereka. Perusahaan dapat menyempurnakan LLM pada data milik mereka tanpa menyerahkan kendali atau mengeluarkan uang berlebihan. Dan lembaga penelitian dapat menjalankan simulasi dan eksperimen tanpa dibatasi oleh keterbatasan anggaran.
Terlepas dari keunggulan ini, penyedia neocloud kemungkinan besar akan bersaing dalam waktu dekat dengan hyperscaler di pasar GPU-as-a-Service. Pasar tersebut bernilai $3,23 miliar pada tahun 2023 dan diproyeksikan tumbuh menjadi $49,84 miliar pada tahun 2032, mewakili tingkat pertumbuhan 36%, menurut Fortune Business Insights. (Perkiraan tersebut mencakup hyperscaler dan neocloud.)
Pemikiran Akhir
Persyaratan komputasi untuk AI terus berkembang. Penyedia Neocloud adalah generasi baru penyedia infrastruktur cloud yang berfokus pada AI dan bertujuan untuk memenuhi kebutuhan ini. Mereka membedakan dirinya dari hyperscaler tradisional (seperti AWS, Azure, dan GCP) dengan berfokus pada ketersediaan GPU yang dioptimalkan, harga yang fleksibel, dan performa khusus untuk beban kerja AI/ML, serta fitur-fitur utama lainnya.
