Laporan ETSI membuka jalan bagi standarisasi keamanan AI
Sebuah laporan baru dari ETSI, organisasi standar Eropa untuk jaringan dan layanan telekomunikasi, penyiaran dan komunikasi elektronik, bertujuan untuk membuka jalan bagi penetapan standar untuk keamanan kecerdasan buatan (AI).
Langkah pertama dalam menciptakan standar adalah menjelaskan masalah mengamankan sistem dan solusi berbasis AI. Inilah yang dilakukan oleh laporan 24 halaman, ETSI GR SAI 004, yang pertama kali diterbitkan oleh ETSI Securing Artificial Intelligence Industry Specification Group (SAI ISG). Ini mendefinisikan pernyataan masalah dan memiliki fokus khusus pada pembelajaran mesin (ML), dan tantangan yang berkaitan dengan kerahasiaan, integritas, dan ketersediaan di setiap tahap siklus hidup pembelajaran mesin. Ini juga menunjukkan beberapa tantangan yang lebih luas dari sistem AI termasuk bias, etika, dan kemampuan untuk dijelaskan. Sejumlah vektor serangan yang berbeda diuraikan, serta beberapa kasus penggunaan dan serangan di dunia nyata.
Untuk mengidentifikasi masalah yang terlibat dalam mengamankan AI, langkah pertama adalah mendefinisikan AI. Untuk kelompok ETSI, kecerdasan buatan adalah kemampuan sistem untuk menangani representasi, baik eksplisit maupun implisit, dan prosedur untuk melakukan tugas yang akan dianggap cerdas jika dilakukan oleh manusia. Definisi ini masih mewakili spektrum kemungkinan yang luas. Namun, serangkaian teknologi terbatas sekarang menjadi layak, sebagian besar didorong oleh evolusi pembelajaran mesin dan teknik pembelajaran mendalam, dan ketersediaan luas data dan kekuatan pemrosesan yang diperlukan untuk melatih dan menerapkan teknologi tersebut.
Banyak pendekatan untuk pembelajaran mesin yang umum digunakan, termasuk pembelajaran yang diawasi, tidak diawasi, semi-diawasi, dan penguatan.
Pembelajaran yang diawasi – di mana semua data pelatihan diberi label, dan model dapat dilatih untuk memprediksi keluaran berdasarkan serangkaian masukan baru.
Pembelajaran semi-diawasi – di mana kumpulan data diberi label sebagian. Dalam hal ini, bahkan data yang tidak berlabel dapat digunakan untuk meningkatkan kualitas model.
Pembelajaran tanpa pengawasan – di mana kumpulan data tidak diberi label, dan model mencari struktur dalam data, termasuk pengelompokan dan pengelompokan.
Pembelajaran penguatan – di mana kebijakan yang mendefinisikan cara bertindak dipelajari oleh agen melalui pengalaman untuk memaksimalkan imbalan mereka; dan agen mendapatkan pengalaman dengan berinteraksi dalam lingkungan melalui transisi status.
Dalam paradigma ini, berbagai struktur model dapat digunakan, dengan salah satu pendekatan yang paling umum adalah penggunaan jaringan saraf dalam, di mana pembelajaran dilakukan melalui serangkaian lapisan hierarkis yang meniru perilaku otak manusia.
Berbagai teknik pelatihan juga dapat digunakan, yaitu pembelajaran permusuhan, di mana set pelatihan tidak hanya berisi sampel yang mencerminkan hasil yang diinginkan, tetapi juga sampel permusuhan, yang dimaksudkan untuk menantang atau mengganggu perilaku yang diharapkan.
“Ada banyak diskusi seputar etika AI tetapi tidak ada standar seputar mengamankan AI. Namun, mereka menjadi penting untuk memastikan keamanan jaringan otomatis berbasis AI. Laporan ETSI pertama ini dimaksudkan untuk memberikan definisi komprehensif tentang tantangan yang dihadapi saat mengamankan AI. Secara paralel, kami sedang mengerjakan ontologi ancaman, tentang cara mengamankan rantai pasokan data AI, dan cara mengujinya,” jelas Alex Leadbeater, Ketua ETSI SAI ISG.
Ditanya tentang jadwal, Leadbeater mengatakan pada embedded.com, “12 bulan lagi adalah perkiraan yang masuk akal untuk spesifikasi teknis. Ada lebih banyak laporan teknis yang akan datang selama beberapa kuartal berikutnya (AI Threat Ontology, Data Supply Chain Report, SAI Mitigation Strategy report). Bahkan, satu spesifikasi pengujian keamanan AI harus keluar sebelumnya, sekitar akhir Q2/Q3. Langkah selanjutnya adalah mengidentifikasi area spesifik dalam pernyataan masalah yang dapat diperluas menjadi item pekerjaan informatif yang lebih detail.”
Ringkasan laporan Mengikuti definisi AI dan pembelajaran mesin, laporan tersebut kemudian melihat rantai pemrosesan data, yang mencakup tantangan kerahasiaan, integritas, dan ketersediaan di seluruh siklus hidup, mulai dari akuisisi data, kurasi data, desain model dan pembuatan perangkat lunak, hingga pelatihan, pengujian, penerapan, dan inferensi, dan peningkatan.
Dalam sistem AI, data dapat diperoleh dari banyak sumber, termasuk sensor (seperti kamera CCTV, ponsel, perangkat medis) dan aset digital (seperti data dari platform perdagangan, ekstrak dokumen, file log). Data juga dapat dalam berbagai bentuk (termasuk teks, gambar, video dan audio) dan dapat terstruktur atau tidak terstruktur. Selain tantangan keamanan yang terkait dengan data itu sendiri, penting untuk mempertimbangkan keamanan transmisi dan penyimpanan.
Untuk memberikan indikasi tantangan integritas dalam kurasi data, saat memperbaiki, menambah, atau mengonversi kumpulan data, penting untuk memastikan bahwa proses tersebut tidak berisiko berdampak pada kualitas dan integritas data. Untuk sistem pembelajaran mesin yang diawasi, penting agar pelabelan data akurat dan selengkap mungkin, dan untuk memastikan bahwa pelabelan mempertahankan integritasnya dan tidak dikompromikan, misalnya melalui serangan peracunan. Penting juga untuk mengatasi tantangan dalam memastikan kumpulan data tidak bias. Teknik untuk augmentasi data dapat berdampak pada integritas data.
Area lain yang dicakup adalah seputar tantangan desain, faktor-faktor lain yang tidak disengaja seputar bias, etika data, dan kemampuan untuk dijelaskan.
Misalnya, bias harus dipertimbangkan tidak hanya selama fase desain dan pelatihan, tetapi juga setelah sistem diterapkan, karena bias masih dapat terjadi. Laporan tersebut mengutip contoh dari 2016, ketika chatbot diluncurkan, yang dimaksudkan sebagai eksperimen dalam "pemahaman percakapan". Chatbot akan terlibat dengan pengguna jejaring sosial melalui tweet dan pesan langsung. Dalam hitungan jam, chatbot mulai men-tweet pesan yang sangat ofensif. Setelah chatbot ditarik, diketahui bahwa akun chatbot telah dimanipulasi untuk menampilkan perilaku bias oleh troll internet. Bias tidak selalu mewakili masalah keamanan, tetapi hanya dapat mengakibatkan sistem tidak memenuhi persyaratan fungsionalnya.
Pada etika, laporan tersebut menyoroti beberapa contoh, termasuk mobil otonom dan perawatan kesehatan. Ini mengutip makalah dari University of Brighton yang membahas skenario hipotetis di mana mobil yang ditenagai oleh AI menabrak pejalan kaki dan mengeksplorasi kewajiban hukum yang terjadi kemudian. Pada Maret 2018, skenario ini menjadi kenyataan ketika sebuah mobil self-driving menabrak dan menewaskan seorang pejalan kaki di kota Tempe, Arizona. Ini membawa fokus yang tajam tidak hanya kewajiban hukum, tetapi juga tantangan etis potensial dari proses pengambilan keputusan itu sendiri. Pada tahun 2016, Massachusetts Institute of Technology (MIT) meluncurkan situs web bernama Moral Machine yang mengeksplorasi tantangan memungkinkan sistem cerdas membuat keputusan yang bersifat etis. Situs ini mencoba untuk mengeksplorasi bagaimana manusia berperilaku ketika menghadapi dilema etika, dan untuk mendapatkan pemahaman yang lebih baik tentang bagaimana mesin seharusnya berperilaku.
Laporan tersebut menekankan bahwa sementara masalah etika tidak memiliki pengaruh langsung pada karakteristik keamanan tradisional seperti kerahasiaan, integritas dan ketersediaan, mereka dapat memiliki pengaruh yang signifikan pada persepsi individu tentang apakah suatu sistem dapat dipercaya. Oleh karena itu, perancang dan pelaksana sistem AI harus mempertimbangkan tantangan etika dan berupaya menciptakan sistem etika yang kuat yang dapat membangun kepercayaan di antara pengguna.
Terakhir, laporan tersebut membahas jenis serangan, mulai dari keracunan dan serangan pintu belakang hingga rekayasa balik, diikuti oleh kasus penggunaan dan serangan di dunia nyata.
Dalam serangan keracunan, penyerang berusaha untuk mengkompromikan model AI, biasanya selama fase pelatihan, sehingga model yang dikerahkan berperilaku dengan cara yang diinginkan penyerang. Hal ini dapat terjadi karena model gagal berdasarkan tugas atau input tertentu, atau model mempelajari serangkaian perilaku yang diinginkan penyerang, tetapi tidak dimaksudkan oleh perancang model. Serangan keracunan biasanya dapat terjadi dalam tiga cara:
Keracunan data – di mana penyerang memasukkan data yang salah, atau salah diberi label, ke dalam kumpulan data selama fase pengumpulan data atau kurasi data.
Keracunan algoritma – ketika penyerang mengganggu algoritma yang digunakan untuk proses pembelajaran. Misalnya, pembelajaran gabungan melibatkan pelatihan model individu pada subset data, dan kemudian menggabungkan model yang dipelajari bersama untuk membentuk model akhir. Ini berarti kumpulan data individu tetap pribadi tetapi menciptakan kerentanan yang melekat. Karena setiap kumpulan data individu dapat dikendalikan oleh penyerang, mereka dapat memanipulasi bagian dari model pembelajaran tersebut secara langsung dan memengaruhi pembelajaran sistem secara keseluruhan.
Model keracunan – ketika seluruh model yang digunakan hanya diganti dengan model alternatif. Jenis serangan ini mirip dengan serangan siber tradisional di mana file elektronik yang terdiri dari model dapat diubah atau diganti.
Sementara istilah 'kecerdasan buatan' berasal dari sebuah konferensi pada 1950-an di Dartmouth College di Hanover, New Hampshire, AS, kasus penggunaan kehidupan nyata yang dijelaskan dalam laporan ETSI menunjukkan seberapa banyak hal itu telah berkembang sejak itu. Kasus tersebut termasuk serangan pemblokir iklan, penyamaran malware, deepfake, reproduksi tulisan tangan, suara manusia, dan percakapan palsu (yang telah menimbulkan banyak komentar dengan chatbots).
Apa selanjutnya? Laporan yang sedang berlangsung sebagai bagian dari ISG ini
Grup spesifikasi industri (ISG) ini sedang melihat beberapa laporan yang sedang berlangsung sebagai bagian dari item pekerjaan di bawahnya yang akan digali lebih dalam.
Pengujian keamanan :Tujuan dari item pekerjaan ini adalah untuk mengidentifikasi tujuan, metode dan teknik yang sesuai untuk pengujian keamanan komponen berbasis AI. Tujuan keseluruhannya adalah memiliki pedoman untuk pengujian keamanan komponen berbasis AI dan AI dengan mempertimbangkan berbagai algoritme AI simbolik dan subsimbolik dan mengatasi ancaman yang relevan dari item kerja “ontologi ancaman AI”. Pengujian keamanan AI memiliki beberapa kesamaan dengan pengujian keamanan sistem tradisional tetapi memberikan tantangan baru dan memerlukan pendekatan yang berbeda, karena
(a) perbedaan signifikan antara AI simbolik dan subsimbolik dan sistem tradisional yang memiliki implikasi kuat pada keamanannya dan tentang cara menguji properti keamanannya;
(b) non-determinisme karena sistem berbasis AI dapat berkembang seiring waktu (sistem belajar mandiri) dan properti keamanan dapat menurun;
(c) masalah oracle uji, menetapkan putusan uji berbeda dan lebih sulit untuk sistem berbasis AI karena tidak semua hasil yang diharapkan diketahui secara apriori, dan (d) algoritme berbasis data:berbeda dengan sistem tradisional, (pelatihan) data membentuk perilaku AI subsimbol.
Cakupan item pekerjaan pada pengujian keamanan ini mencakup topik berikut (namun tidak terbatas pada):
pendekatan pengujian keamanan untuk AI
menguji data untuk AI dari sudut pandang keamanan
nubuat uji keamanan untuk AI
definisi kriteria kecukupan pengujian untuk pengujian keamanan AI
sasaran pengujian untuk atribut keamanan AI
Dan itu memberikan panduan untuk pengujian keamanan AI dengan mempertimbangkan topik yang disebutkan di atas. Pedoman tersebut akan menggunakan hasil item kerja “AI Threat Ontology” untuk mencakup ancaman yang relevan untuk AI melalui pengujian keamanan dan juga akan mengatasi tantangan dan batasan saat menguji sistem berbasis AI.
Ontologi ancaman AI :Tujuan item pekerjaan ini adalah untuk menentukan apa yang akan dianggap sebagai ancaman AI dan bagaimana hal itu mungkin berbeda dari ancaman terhadap sistem tradisional. Titik awal yang menawarkan alasan untuk pekerjaan ini adalah bahwa saat ini, tidak ada pemahaman umum tentang apa yang dimaksud dengan serangan terhadap AI dan bagaimana hal itu dapat dibuat, dihosting, dan disebarkan. Item pekerjaan “AI ancaman ontologi” akan berusaha menyelaraskan terminologi di berbagai pemangku kepentingan dan berbagai industri. Dokumen ini akan menjelaskan apa yang dimaksud dengan istilah-istilah ini dalam konteks keamanan siber dan fisik dan dengan narasi yang menyertainya yang harus mudah diakses oleh para ahli dan audiens yang kurang informasi di berbagai industri. Perhatikan bahwa ontologi ancaman ini akan menangani AI sebagai sistem, penyerang musuh, dan sebagai pembela sistem.
Laporan rantai pasokan data :Data adalah komponen penting dalam pengembangan sistem AI. Ini termasuk data mentah serta informasi dan umpan balik dari sistem lain dan manusia dalam satu lingkaran, yang semuanya dapat digunakan untuk mengubah fungsi sistem dengan melatih dan melatih ulang AI. Namun, akses ke data yang sesuai seringkali terbatas menyebabkan kebutuhan untuk menggunakan sumber data yang kurang sesuai. Mengorbankan integritas data pelatihan telah terbukti menjadi vektor serangan yang layak terhadap sistem AI. Ini berarti bahwa mengamankan rantai pasokan data merupakan langkah penting dalam mengamankan AI. Laporan ini akan merangkum metode yang saat ini digunakan untuk mendapatkan data untuk pelatihan AI bersama dengan peraturan, standar, dan protokol yang dapat mengontrol penanganan dan pembagian data tersebut. Kemudian akan memberikan analisis kesenjangan pada informasi ini untuk mencakup kemungkinan persyaratan standar untuk memastikan ketertelusuran dan integritas dalam data, atribut terkait, informasi dan umpan balik, serta kerahasiaannya.
Strategi mitigasi SAI laporan:Item pekerjaan ini bertujuan untuk meringkas dan menganalisis mitigasi yang ada dan potensial terhadap ancaman untuk sistem berbasis AI. Tujuannya adalah untuk memiliki pedoman untuk mengurangi ancaman yang diperkenalkan dengan mengadopsi AI ke dalam sistem. Pedoman ini akan menjelaskan garis dasar untuk mengamankan sistem berbasis AI dengan mengurangi ancaman keamanan yang diketahui atau potensial. Mereka juga mengatasi kemampuan, tantangan, dan batasan keamanan saat mengadopsi mitigasi untuk sistem berbasis AI dalam kasus penggunaan potensial tertentu.
?Peran perangkat keras dalam keamanan AI: Untuk menyiapkan laporan yang mengidentifikasi peran perangkat keras, baik khusus maupun untuk tujuan umum, dalam keamanan AI. Ini akan membahas mitigasi yang tersedia di perangkat keras untuk mencegah serangan dan juga membahas persyaratan umum perangkat keras untuk mendukung SAI. Selain itu, laporan ini akan membahas kemungkinan strategi untuk menggunakan AI untuk perlindungan perangkat keras. Laporan ini juga akan memberikan ringkasan pengalaman akademis dan industri dalam keamanan perangkat keras untuk AI. Selain itu, laporan tersebut akan membahas kerentanan atau kelemahan yang ditimbulkan oleh perangkat keras yang dapat memperkuat vektor serangan pada AI.
Laporan ETSI lengkap yang mendefinisikan pernyataan masalah untuk mengamankan AI tersedia di sini.
