Menangani bias pelatihan dalam pembelajaran mesin

Mengajar siapa pun tentang "keadilan" adalah tujuan yang patut dipuji.

Sebagai manusia, kita mungkin belum tentu setuju dengan apa yang adil. Kadang-kadang tergantung pada konteksnya. Mengajar anak-anak untuk bersikap adil — baik di rumah maupun di sekolah — adalah hal mendasar, tetapi lebih mudah diucapkan daripada dilakukan. Dengan mengingat hal ini, bagaimana kita, sebagai masyarakat, dapat mengomunikasikan nuansa “bersikap adil” pada sistem kecerdasan buatan (AI)?

Sebuah tim peneliti di IBM Research mengambil celah pertama pada teka-teki ini. IBM meluncurkan kit alat untuk pengembang yang disebut "AI Fairness 360." Sebagai bagian dari upaya ini, IBM menawarkan bisnis "layanan berbasis cloud, deteksi bias, dan mitigasi" baru yang dapat digunakan perusahaan untuk menguji dan memverifikasi bagaimana sistem yang digerakkan oleh AI berperilaku.

Dalam wawancara telepon dengan EE Times, Saska Mojsilovic, Rekan di IBM Research, memberi tahu kami bahwa para ilmuwan dan praktisi AI terlalu fokus pada keakuratan AI. Biasanya, pertanyaan pertama yang diajukan orang tentang AI adalah, “Dapatkah mesin mengalahkan manusia?”

Tapi bagaimana dengan keadilan? Ketiadaan keadilan dalam AI berpotensi menimbulkan konsekuensi bencana, misalnya, perawatan kesehatan atau kendaraan otonom, katanya.

Bagaimana jika kumpulan data yang digunakan untuk melatih mesin menjadi bias? Jika AI tidak dapat menjelaskan bagaimana keputusan itu dibuat, bagaimana kami dapat memverifikasi "kebenarannya?" Bisakah AI mengungkapkan jika data entah bagaimana telah dimanipulasi selama pemrosesan AI? Bisakah AI meyakinkan kami bahwa datanya tidak pernah diserang atau disusupi, termasuk selama pra-dan pasca-pemrosesan?

Singkatnya, apakah ada yang namanya AI introspektif? Jawaban sederhananya:Tidak.

Tanpa transparan kepada pengguna, pengembang, dan praktisi AI, sistem AI tidak dapat memperoleh kepercayaan dari masyarakat, kata Mojsilovic.

Menghancurkan keadilan
Pertanyaan yang lebih besar adalah bagaimana mengajari mesin apa itu keadilan. Mojsilovic mencatat, "Karena kami adalah ilmuwan, hal pertama yang kami lakukan adalah menguraikan 'keadilan'. Kami perlu mengatasinya." Mereka meruntuhkan keadilan dalam hal metrik, algoritme, dan bias yang dipraktikkan dalam implementasi AI.

Kush Varshney, Research Scientist, IBM, menjelaskan bahwa tim melihat bias dan keadilan dalam algoritme AI dan pengambilan keputusan AI. “Ada keadilan bagi individu dan ada keadilan bagi kelompok. Kami melihat atribut kelompok yang berbeda — mulai dari jenis kelamin hingga ras. Masalah hukum dan peraturan juga dipertimbangkan.” Pada akhirnya, tim akhirnya mengukur 30 metrik berbeda untuk mencari bias dalam set data, model AI, dan algoritme.

Temuan ini dimasukkan ke dalam kotak alat AI Fairness 360 yang diluncurkan IBM minggu ini. Perusahaan menggambarkannya sebagai “alat metrik sumber terbuka yang komprehensif untuk memeriksa bias yang tidak diinginkan dalam set data dan model pembelajaran mesin”.

Mengurangi bias di seluruh siklus hidup AI (Sumber:IBM)

Meskipun banyak ilmuwan telah bekerja untuk menemukan diskriminasi dalam algoritme AI, Mojsilovic mengatakan bahwa pendekatan IBM berbeda dengan memasukkan algoritme tidak hanya untuk menemukan bias tetapi juga alat untuk menghilangkan bias.

Pada tingkat dasar, Anda harus bertanya:Ilmuwan komputer — mendefinisikan keadilan? Ini adalah tugas yang biasanya diberikan kepada ilmuwan sosial? Menyadari ketidaksesuaian ini, IBM menjelaskan bahwa baik Mojsilovic maupun Varshney tidak bekerja dalam ruang hampa. Mereka membawa sejumlah cendekiawan dan institut. Varshney berpartisipasi dalam Konferensi Etika Uehiro-Carnegie-Oxford yang disponsori oleh Dewan Etika Carnegie dalam Urusan Internasional. Mojsilovic berpartisipasi dalam Lokakarya AI di Berkeley, California, yang disponsori oleh UC Berkeley Law School.

Apakah algoritme netral?
Ilmuwan sosial telah menunjukkan masalah bias AI selama beberapa waktu.

Young Mie Kim, profesor, Sekolah Jurnalisme dan Komunikasi Massa di University of Wisconsin—Madison, menjelaskan, “Diskriminasi AI (atau bias AI) dapat terjadi ketika secara implisit atau eksplisit memperkuat tatanan dan bias sosial yang tidak setara (misalnya, gender, ras, usia, status sosial/ekonomi, dll.).” Contohnya berkisar dari kesalahan pengambilan sampel (misalnya, kurang terwakilinya demografi tertentu karena tidak tepat atau kesulitan dalam metode pengambilan sampel) hingga bias manusia dalam pelatihan mesin (pemodelan). Kim berpendapat bahwa bias AI ada bahkan dengan “keputusan strategis” dalam desain atau pemodelan, seperti algoritme periklanan politik.

Dalam studi terbarunya yang berjudul “Algorithmic Opportunity:Digital Advertising and Inequality of Political Involvement,” Kim menunjukkan bagaimana ketidaksetaraan dapat diperkuat dalam keputusan berbasis algoritme.

Komunitas teknis mungkin berpendapat bahwa “algoritma itu netral” atau dapat “dididik” (dilatih). Kim mencatat, “Itu tidak mengakui bahwa bias masuk pada tahap mana pun dalam pengembangan algoritme.”