Pedoman CISO untuk Menerapkan AI Agen dengan Aman

Selama setahun terakhir, hampir setiap percakapan saya dengan sesama chief information security officer (CISO) berkisar pada ketegangan yang sama:bagaimana kita menghadirkan Agentic AI ke dalam perusahaan tanpa meningkatkan risiko?

Baru-baru ini, salah satu pendiri dan CEO UiPath Daniel Dines menulis “perusahaan menginginkan kecepatan dan kecerdasan agen dan otomatisasi AI, tetapi tidak pernah mengorbankan keamanan atau kontrol.” Pengamatan tersebut mencerminkan apa yang saya dengar dari para pemimpin keamanan di berbagai industri.

Pertanyaannya bukan lagi apakah agen akan beroperasi di dalam perusahaan kita. 2025 menjawabnya. Pertanyaan sebenarnya adalah apakah kami mengaturnya dengan ketelitian yang sama seperti yang kami terapkan saat memindahkan beban kerja penting ke cloud.

Titik perubahan otonomi

Belum lama ini, model keamanan kami mengasumsikan perangkat lunak mengikuti instruksi. Sekarang, ia membuat keputusan.

Pada tahun 2025, AI agen beralih dari eksperimen ke penerapan operasional. Sistem otonom merencanakan dan melaksanakan tindakan di seluruh lingkungan perusahaan dengan wewenang yang didelegasikan.

Bagi CISO, ini bukanlah siklus perkakas yang lain. Ini adalah perubahan struktural dalam cara tindakan digital dimulai, disahkan, dan diatur.

Kami tidak lagi mengamankan aplikasi statis. Kami mengamankan aktor digital.

Model tata kelola terus berkembang, namun penerapannya jauh lebih maju. Hal ini menciptakan kesenjangan kepercayaan antara otonomi dan pengawasan.

Untuk menutup kesenjangan ini diperlukan lebih dari sekedar kebijakan, tinjauan berkala, dan pengendalian statis. Hal ini membutuhkan tata kelola yang berjalan dengan kecepatan yang sama, diterapkan dengan ketelitian dan presisi yang sama seperti yang kita lakukan pada setiap perubahan teknologi besar sebelumnya.

Model ancaman telah bergeser

Keamanan siber tradisional bertumpu pada empat asumsi dasar:

• Perilaku deterministik

• Memperbaiki peran dan izin

• Jalur eksekusi yang dapat diprediksi

• Akuntabilitas manusia di setiap lapisan keputusan

Sistem agenik menantang setiap asumsi ini. Mereka:

• Beradaptasi saat runtime

• Pilih alat secara dinamis

• Pertahankan memori di seluruh interaksi

• Buat keputusan perantara secara mandiri

Kemampuan ini menciptakan nilai melalui kompresi alur kerja, orkestrasi lintas sistem, dan akselerasi operasional.

Mereka juga mendefinisikan ulang eksposur.

Tim keamanan sekarang harus mengevaluasi tidak hanya apa yang dapat diakses oleh sistem, namun bagaimana sistem mengurutkan tindakan, bagaimana sistem membentuk niat, dan bagaimana niat tersebut dapat dipengaruhi dari waktu ke waktu.

Injeksi cepat menjadi manipulasi eksekusi. Persistensi memori menimbulkan risiko longitudinal. Wewenang yang didelegasikan memusatkan dampak.

Ini bukan kasus kesalahan konfigurasi. Hal ini melekat pada otonomi itu sendiri. Pertanyaan kontrolnya beralih dari “Apakah akses sudah tepat?” hingga “Apakah jalur pengambilan keputusan diatur?”.

Identitas menjadi lapisan penegakan hukum

Ketika sistem otonom dapat mengakses manajemen hubungan pelanggan (CRM) atau platform SaaS lainnya, memodifikasi infrastruktur, atau memulai pembayaran, sistem tersebut harus diatur dengan ketat seperti operator manusia yang memiliki hak istimewa.

Setiap agen AI harus:

• Memiliki identitas unik yang diatur

• Beroperasi di bawah hak istimewa paling rendah yang diberlakukan

• Tunduk pada kontrol siklus hidup kredensial

• Hasilkan jejak audit yang tidak dapat diubah

• Jalani pemantauan perilaku terus menerus

Banyak organisasi mengklasifikasikan agen sebagai identitas non-manusia. Pembingkaian itu berguna tetapi tidak lengkap.

Tidak seperti akun layanan tradisional, agen mempertimbangkan cara mereka menggunakan izin mereka.

Di era agenik, identitas tidak lagi sekedar lapisan akses. Ini adalah lapisan penegakan otonomi.

Prinsip-prinsip zero trust harus diterapkan sepenuhnya pada pelaku digital dengan ketelitian yang sama diterapkan di lingkungan pengendalian perusahaan yang lebih luas. Model penyediaan manual yang dirancang untuk orientasi manusia akan gagal dalam skala otonom. Tata kelola identitas harus dinamis, didorong oleh kebijakan, dan terus divalidasi.

Ketika otonomi meningkat, identitas menjadi infrastruktur. Aktor digital tidak beroperasi secara terpisah. Mereka beroperasi dalam alur kerja perusahaan yang saling berhubungan dan harus diatur secara terpadu.

Dari log hingga telemetri kognitif

Observabilitas tradisional menjawab pertanyaan retrospektif:apa yang terjadi?

Sistem agen mengharuskan kita menjawab pertanyaan lain:mengapa hal itu bisa terjadi?

Tata kelola kini bergantung pada visibilitas terhadap:

• Sinyal asal keputusan (masukan, kendala, dan hasil)

• Urutan pemanggilan alat

• Evaluasi kebijakan

• Interaksi memori

• Pengambilan keputusan

Jika kita tidak dapat merekonstruksi bagaimana niat dibentuk dan tindakan dipilih, dengan menggunakan eksekusi dan artefak kebijakan yang dapat diamati, maka tata kelola hanya bersifat teoretis.

Tata kelola dan keamanan AI tanpa kemampuan menjelaskan dan mengaudit adalah sebuah kerapuhan. CISO harus menuntut telemetri kognitif bukan sebagai bukti forensik setelah kegagalan, namun sebagai lapisan jaminan berkelanjutan yang beroperasi bersamaan dengan eksekusi dan terlihat dalam alat manajemen informasi dan peristiwa keamanan (SIEM) kami.

Otonomi yang beroperasi pada kecepatan mesin memerlukan pengawasan yang beroperasi pada kecepatan mesin.

Tinjauan manusia saja tidak dapat memenuhi persyaratan tersebut. Sistem otonom akan semakin berpartisipasi dalam mengawasi sistem otonom lainnya, menegakkan kebijakan, memvalidasi perilaku, dan melakukan eskalasi hanya ketika ambang batas risiko yang telah ditentukan terlampaui. Tata kelola menjadi kemampuan terdistribusi, bukan pos pemeriksaan manual.

Tata kelola harus dijalankan pada saat runtime

Kebijakan yang ditulis dalam dokumentasi tidak membatasi sistem otonom. Kita harus memastikan tata kelola berjalan pada saat yang tepat.

Itu membutuhkan:

• Penegakan kebijakan pra-eksekusi

• Pemantauan kesesuaian berkelanjutan (terhadap kebijakan yang disetujui)

• Ketertelusuran versi dan model

• Ambang batas persetujuan human-in-the-loop (HITL) yang eksplisit untuk tindakan berdampak tinggi

• Hapus jalur penggantian manusia

Hal ini mencerminkan pergeseran dari kepatuhan statis ke pengawasan dinamis.

Dewan dan regulator pun berkembang sesuai dengan hal tersebut. Era pernyataan aspirasional AI yang bertanggung jawab sudah berakhir. Kepemimpinan eksekutif semakin membutuhkan lingkungan pengendalian yang dapat dibuktikan dan didukung oleh bukti.

Tata kelola harus diintegrasikan ke dalam saluran pemantauan, sistem identitas, dan lapisan orkestrasi yang mencakup berbagai model, layanan AI eksternal, dan berbagai komponen yang dapat Anda gunakan sendiri yang biasanya ditemukan dalam otomatisasi perusahaan.

Tata kelola tidak dapat mengasumsikan adanya batasan model tunggal. Hal ini harus beroperasi secara terus-menerus dan konsisten di seluruh lingkungan model yang heterogen, berintegrasi dengan kerangka keamanan dan tata kelola yang ada, bukan menggantikannya.

Jaminan menjadi hal yang tidak dapat dinegosiasikan

Pelanggan perusahaan tidak lagi mempertanyakan apakah AI aman. Mereka bertanya bagaimana Anda membuktikannya.

Validasi independen, sistem manajemen AI terstruktur, dan kerangka risiko formal semakin matang dengan cepat. Ekspektasi pengadaan barang dan jasa beralih dari kecepatan fitur ke tata kelola yang dapat diverifikasi.

Otonomi tanpa jaminan yang dapat dibuktikan akan terhenti di tingkat dewan. Di seluruh industri, model kedewasaan terstruktur dan jalur sertifikasi formal mulai bermunculan, yang menerjemahkan prinsip tata kelola menjadi akuntabilitas yang terukur.

Kepercayaan tidak tersirat dalam inovasi. Itu diperoleh melalui bukti.

Cetak biru untuk otonomi yang aman

Organisasi yang akan memimpin pada tahun 2026 bukanlah organisasi yang mengerahkan sebagian besar agen AI. Merekalah yang mengaturnya dengan sengaja. Lima pilar mendefinisikan penerapan agen yang aman:

1. Identitas dulu

Setiap agen AI adalah identitas yang diatur dengan hak istimewa paling rendah dan validasi berkelanjutan.

2. Segmentasi alat

Sistem berdampak tinggi berada di balik gerbang otorisasi kontekstual dengan ambang batas persetujuan eksplisit.

3. Perlindungan memori

Status persisten dienkripsi, integritas divalidasi, akses dikontrol, dan dapat diaudit.

4. Pagar pembatas waktu proses

Kendala pra-eksekusi dan pemantauan anomali runtime beroperasi terus menerus. Di lingkungan yang sudah matang, agen pengawas dapat membantu menegakkan batasan ini, sehingga memungkinkan validasi berkelanjutan dalam skala besar.

5. Auditabilitas, observabilitas, dan asal keputusan

Sistem otonom harus menyediakan catatan masukan, evaluasi kebijakan, dan tindakan yang dihasilkan yang dapat ditelusuri, bukan hanya catatan penyelesaian tugas.

6. Jalur eskalasi manusia

Ambang batas tata kelola yang jelas menentukan kapan otonomi akan menghasilkan akuntabilitas eksekutif.

Tata kelola tidak memperlambat inovasi. Hal ini membuka kepercayaan eksekutif. Kepercayaan mempercepat adopsi.

Mandat CISO untuk tahun 2026

Lintasannya jelas.

• Pada tahun 2024, sebagian besar organisasi melakukan eksperimen

• Pada tahun 2025, otonomi berpindah ke produksi

• Tahun 2026 akan menguji apakah tata kelola dapat mengimbangi kecepatan tersebut

Musuh memanfaatkan otonomi untuk meningkatkan pengintaian dan eksploitasi. Dewan menuntut pengawasan yang dapat dibuktikan. Regulator sedang memformalkan ekspektasi seputar manajemen risiko dan pengendalian operasional AI.

Kesenjangan kepemimpinan bukan disebabkan oleh teknologi; hal ini disebabkan oleh kurangnya kepercayaan terhadap kematangan tata kelola.

Sebagai CISO, mandat kami bukanlah untuk menolak atau memperlambat transformasi. Hal ini untuk membentuknya menjadi komponen perusahaan kita yang dapat dipercaya.

Kami bertanggung jawab untuk merekayasa bidang kendali terpadu yang memungkinkan pelaku digital beroperasi dengan aman pada kecepatan mesin dan memastikan otonomi mereka diterapkan dengan sengaja, diatur secara transparan, dipantau terus-menerus, dan divalidasi secara independen.

Otonomi tidak menghilangkan akuntabilitas, namun justru memperkuatnya. Era keamanan perusahaan berikutnya tidak akan ditentukan oleh firewall atau model; hal ini akan ditentukan oleh seberapa baik kita mengatur tindakan otonom.

Organisasi yang memimpin bukanlah organisasi yang pertama kali mengadopsi AI agen. Merekalah yang menjaminnya, mengaturnya, dan membuktikannya.

Dan tanggung jawab itu ada pada kita.