Insinyur Universitas Maryland Menciptakan Kamera Terinspirasi Mata Canggih yang Meningkatkan Penglihatan Robot

Universitas Maryland, College Park, MD

Diagram yang menggambarkan sistem kamera AMI-EV baru. (Gambar:Atas perkenan Laboratorium Computer Vision UMIACS)

Sebuah tim yang dipimpin oleh ilmuwan komputer Universitas Maryland menemukan mekanisme kamera yang meningkatkan cara robot melihat dan bereaksi terhadap dunia di sekitar mereka. Terinspirasi oleh cara kerja mata manusia, sistem kamera inovatif mereka meniru gerakan kecil tak sadar yang digunakan mata untuk menjaga penglihatan tetap jernih dan stabil dari waktu ke waktu. Pembuatan prototipe dan pengujian kamera oleh tim — disebut Artificial Microsaccade-Enhanced Event Camera (AMI-EV) — dirinci dalam makalah yang diterbitkan di jurnal Science Robotics pada bulan Mei 2024.

“Kamera peristiwa adalah teknologi yang relatif baru yang lebih baik dalam melacak objek bergerak dibandingkan kamera tradisional, namun kamera peristiwa saat ini kesulitan menangkap gambar yang tajam dan bebas buram ketika ada banyak gerakan yang terlibat,” kata penulis utama makalah tersebut Botao He, seorang Ph.D. ilmu komputer. mahasiswa di Universitas Maryland. "Ini adalah masalah besar karena robot dan banyak teknologi lainnya, seperti mobil self-driving, mengandalkan gambar yang akurat dan tepat waktu untuk bereaksi dengan benar terhadap perubahan lingkungan. Jadi, kami bertanya pada diri sendiri:Bagaimana manusia dan hewan memastikan penglihatan mereka tetap fokus pada objek bergerak?"

Bagi tim He, jawabannya adalah microsacacade, gerakan mata kecil dan cepat yang terjadi tanpa disengaja saat seseorang mencoba memfokuskan pandangannya. Melalui gerakan yang sangat kecil namun terus menerus ini, mata manusia dapat tetap fokus pada suatu objek dan tekstur visualnya — seperti warna, kedalaman, dan bayangan — secara akurat dari waktu ke waktu.

“Kami menyadari bahwa sama seperti mata kita memerlukan gerakan kecil untuk tetap fokus, kamera juga dapat menggunakan prinsip serupa untuk menangkap gambar yang jelas dan akurat tanpa keburaman yang disebabkan oleh gerakan,” katanya.

Tim berhasil mereplikasi microsaccades dengan memasukkan prisma berputar ke dalam AMI-EV untuk mengarahkan berkas cahaya yang ditangkap oleh lensa. Gerakan rotasi prisma yang terus-menerus menyimulasikan gerakan yang terjadi secara alami dalam mata manusia, memungkinkan kamera menstabilkan tekstur objek yang direkam seperti yang dilakukan manusia. Tim kemudian mengembangkan perangkat lunak untuk mengimbangi pergerakan prisma dalam AMI-EV guna mengkonsolidasikan gambar yang stabil dari pergeseran cahaya.

Rekan penulis studi, Yiannis Aloimonos, Profesor Ilmu Komputer di Universitas Maryland, memandang penemuan tim ini sebagai langkah maju yang besar dalam bidang visi robot.

"Mata kita memotret dunia di sekitar kita dan gambar-gambar itu dikirim ke otak kita, di mana gambar-gambar itu dianalisis. Persepsi terjadi melalui proses itu dan begitulah cara kita memahami dunia," jelas Aloimonos, yang juga direktur Computer Vision Laboratory di Institut Studi Komputer Lanjutan Universitas Maryland (UMIACS). “Saat Anda bekerja dengan robot, ganti mata dengan kamera dan otak dengan komputer. Kamera yang lebih baik berarti persepsi dan reaksi yang lebih baik bagi robot.”

Para peneliti juga percaya bahwa inovasi mereka dapat mempunyai implikasi signifikan di luar robotika dan pertahanan nasional. Para ilmuwan yang bekerja di industri yang mengandalkan pengambilan gambar dan deteksi bentuk yang akurat terus mencari cara untuk menyempurnakan kamera mereka, dan AMI-EV dapat menjadi solusi utama untuk banyak masalah yang mereka hadapi.

“Dengan fitur uniknya, sensor peristiwa dan AMI-EV siap menjadi pusat perhatian di dunia perangkat pintar yang dapat dikenakan,” kata ilmuwan peneliti Cornelia Fermüller, penulis senior makalah tersebut. "Fitur-fitur ini memiliki keunggulan tersendiri dibandingkan kamera klasik, seperti performa unggul dalam kondisi pencahayaan ekstrem, latensi rendah, dan konsumsi daya rendah. Fitur-fitur ini ideal untuk aplikasi realitas virtual, misalnya, yang memerlukan pengalaman mulus dan komputasi gerakan kepala dan tubuh yang cepat."

Pada pengujian awal, AMI-EV mampu menangkap dan menampilkan gerakan secara akurat dalam berbagai konteks, termasuk deteksi denyut nadi manusia dan identifikasi bentuk bergerak cepat. Para peneliti juga menemukan bahwa AMI-EV dapat menangkap gerakan dalam puluhan ribu frame per detik, mengungguli kamera komersial yang umumnya tersedia, yang rata-rata menangkap 30 hingga 1000 frame per detik. Penggambaran gerakan yang lebih halus dan realistis ini terbukti sangat penting dalam segala hal mulai dari menciptakan pengalaman augmented reality yang lebih mendalam dan pemantauan keamanan yang lebih baik hingga meningkatkan cara para astronom mengambil gambar di luar angkasa.

“Sistem kamera baru kami dapat memecahkan banyak masalah spesifik, seperti membantu mobil yang dapat mengemudi sendiri mengetahui apa yang merupakan manusia dan apa yang bukan manusia di jalan,” kata Aloimonos. "Hasilnya, sistem ini memiliki banyak aplikasi yang sudah banyak digunakan oleh masyarakat umum, seperti sistem mengemudi otonom atau bahkan kamera ponsel pintar. Kami percaya bahwa sistem kamera baru kami membuka jalan bagi sistem yang lebih canggih dan mumpuni di masa depan."

Untuk informasi lebih lanjut, hubungi Georgia Jiang di Alamat email ini dilindungi dari robot spam. Anda perlu mengaktifkan JavaScript untuk melihatnya..