Mobil Otonom Kesulitan Mendeteksi Pejalan Kaki Berkulit Gelap – Mengapa Bias dalam Data Pelatihan Penting
Mobil otonom 5% kurang akurat dalam mendeteksi orang berkulit gelap.
Hal ini terjadi karena sebagian besar algoritma deteksi objek sebagian besar telah dilatih pada kumpulan data yang berisi gambar orang berkulit putih.
Model machine learning telah mulai menemukan tempatnya dalam kehidupan sehari-hari kami. Bidang pengemudi otonom, khususnya, telah berkembang dari ‘mungkin mungkin’ menjadi ‘tersedia secara komersial’ dalam dekade terakhir.
Namun, kemajuan dalam sistem otomatis ini telah menimbulkan banyak kekhawatiran tentang mobil otonom dalam beberapa tahun terakhir, dan sepertinya daftar kekhawatiran baru saja semakin panjang. Seiring dengan khawatir tentang keselamatan dan kemampuan mereka untuk menghadapi rintangan di jalan, juga perlu khawatir apakah kendaraan otonom dapat membahayakan orang berwarna kulit.
Sekarang, peneliti di Institut Teknologi Georgia telah melakukan studi di mana mereka menyimpulkan bahwa algoritma yang digunakan dalam sistem pengemudi otonom 5% kurang akurat dalam mendeteksi pejalan kaki berkulit gelap.
Tingkat Kesalahan yang Lebih Tinggi untuk Beberapa Kelompok Demografis dari yang Lainnya
Tim memulai dengan menyelidiki akurasi model deteksi objek terbaru yang sebagian besar digunakan dalam kendaraan otonom. Mereka ingin mengetahui bagaimana tepatnya model-model ini mendeteksi orang dari berbagai kelompok demografis.
Mereka menganalisis kumpulan data besar yang berisi gambar pejalan kaki dan membagi orang berdasarkan warna kulit mereka. Mereka kemudian melihat seberapa sering model-model ini secara akurat mengidentifikasi kehadiran orang dalam kelompok berkulit gelap serta orang dalam kelompok berkulit terang.
Referensi: arXiv:1902.11097 | Institut Teknologi Georgia
Peneliti menemukan bahwa model-model ini 5% kurang akurat, rata-rata, dalam mendeteksi kelompok berkulit gelap. Ketidakkonsistenan ini tetap sama bahkan setelah menyesuaikan beberapa parameter penting seperti pandangan yang sering terhalang pejalan kaki dan waktu hari dalam gambar.
Studi ini hanya mempertimbangkan model yang digunakan untuk tujuan penelitian, yang dilatih pada kumpulan data yang tersedia secara publik. Studi ini tidak menganalisis model apa pun yang sebenarnya digunakan oleh kendaraan otonom komersial. Namun, ini tidak berarti temuan tidak berharga: studi seperti ini memberikan wawasan yang kuat tentang kelemahan dan risiko nyata.
Alasan di Balik Algoritma yang Bias/Rasisme
Ini bukan pertama kalinya seseorang menerbitkan laporan tentang algoritma yang bias. Tahun lalu, sebuah studi mengungkapkan bahwa 3 sistem pengenalan wajah yang dikembangkan oleh raksasa teknologi (Microsoft, IBM, dan Megvii) cenderung salah mengidentifikasi gender orang berkulit gelap lebih sering daripada orang berkulit terang.
Kredit gambar: Iyad Rahwan
Karena model kecerdasan buatan — terutama algoritma machine learning dan deep learning — belajar dari kumpulan data pelatihan yang diberikan kepada mereka, jika Anda tidak memberikan cukup variasi data, model-model ini tidak akan bekerja dengan akurat saat diterapkan di dunia nyata.
Hal yang sama berlaku untuk mobil otonom: algoritma deteksi objek sebagian besar telah dilatih pada kumpulan data yang berisi gambar orang berkulit putih. Juga, algoritma ini tidak terlalu menekankan pembelajaran dari kumpulan data terbatas (orang dengan warna kulit gelap).
Baca: AI Baru untuk Kendaraan Otonom Dapat Memprediksi Gerakan Pejalan Kaki
Peneliti yakin bahwa model-model ini dapat ditingkatkan dengan menyertakan contoh yang berperbedaan rasial dan memberikan lebih banyak penekanan pada contoh terbatas selama pelatihan.
