NVIDIA Menggunakan AI untuk Meningkatkan Kejernaan Kamera pada Kendaraan Otonom
- Peneliti mengembangkan jaringan saraf mendalam yang mengevaluasi kemampuan kamera untuk melihat dengan jelas.
- Kendaraan otonom dapat menggunakan jaringan ini untuk membuat keputusan yang lebih baik.
Dozens perusahaan sedang bekerja pada teknologi kendaraan otonom dan mereka semua mendekati tantangan teknik dengan cara yang berbeda. Untuk meniru kemampuan manusia untuk melihat, teknologi terutama mengandalkan tiga elemen dasar: radar, kamera, dan lidar.
Namun, beberapa faktor seperti hujan, salju, dan halangan lainnya dapat mengurangi visi kamera. Ini menghambat kemampuan sistem persepsi yang kuat untuk memahami lingkungannya dan memvalidasi data yang masuk dari sensor.
Untuk secara efektif mendeteksi ketidakvalidan data sensor secepat mungkin dalam pipeline pemrosesan sebelum mencapai modul downstream, peneliti di NVIDIA telah mengembangkan model AI yang mengevaluasi kemampuan kamera untuk melihat dengan jelas.
Model ini menggunakan jaringan saraf mendalam — bernama ClearSightNet — untuk menemukan penyebab utama halangan, oklusi, dan penurunan visibilitas. Ini memiliki potensi untuk:
- Membedah berbagai kemungkinan penyebab penurunan visibilitas kamera.
- Menyediakan data yang dapat ditindaklanjuti.
- Berjalan pada berbagai kamera dengan beban komputasi rendah
Bagaimana Cara Kerjanya?
Jaringan membagi gambar kamera menjadi dua bagian berbeda; satu dihubungkan dengan oklusi sementara yang lain berkorespondensi dengan penurunan visibilitas.
Sumber: NVIDIA | YouTube
Oklusi mewakili bagian tertentu dari bidang pandang kamera yang diblokir oleh objek opak (seperti salju, lumpur, atau debu) atau tidak mengandung data (misalnya piksel yang terpenuhi karena sinar matahari). Dalam bagian-bagian ini, persepsi sepenuhnya terganggu.
Visibilitas yang dikurangi mewakili bagian yang sebagian diblokir karena kabur, sinar bersinar, atau hujan lebat. Dalam kasus tersebut, keputusan yang diambil oleh algoritma harus ditandai dengan ‘kepercayaan lebih rendah’.
Sisi kiri menunjukkan citra masukan sementara sisi kanan adalah citra yang dilapisi dengan output masker jaringan saraf. Hampir 84 persen piksel citra terpengaruh oleh oklusi parsial dan penuh.
Untuk menunjukkan bagian-bagian ini, ClearSightNet menempatkan masker pada citra masukan/video secara real-time. Wilayah visibilitas yang dikurangi ditandai dengan warna hijau, dan wilayah yang sepenuhnya oklusi ditandai dengan warna merah. Jaringan juga menampilkan berapa besar area citra masukan yang terpengaruh oleh visibilitas yang dikurangi atau oklusi.
Data ini dapat digunakan dengan berbagai cara. Mobil otonom, misalnya, dapat memilih untuk tidak menerapkan fitur otomatis apa pun ketika visibilitas rendah, dan memperingatkan pengemudi untuk membersihkan kaca depan atau lensa kamera. Kendaraan dapat menggunakan jaringan ini untuk mengetahui persepsi kamera.
Tim berencana untuk lebih meningkatkan ClearSightNet untuk menyediakan perhitungan ujung-ke-ujung dan informasi yang lebih rinci tentang visibilitas kamera, memungkinkan kontrol yang lebih besar atas proses implementasi kendaraan otonom.
Baca: AI NVIDIA Dapat Mengubah Video 30fps Menjadi 240fps
Sejauh kinerja diperhatikan [dari ClearSightNet saat ini], jaringan berjalan dalam sekitar 1,3 milidetik (GPU terintegrasi) dan 0,7 milidetik (GPU terpisah) per frame pada Xavier. Ini sudah tersedia di NVIDIA DRIVE 9.0.
