Peneliti CMU melatih drone otonom menggunakan data simulasi lintas-modal
Untuk terbang secara mandiri, drone perlu memahami apa yang mereka rasakan di lingkungan dan membuat keputusan berdasarkan informasi tersebut. (Lihat video di bawah.)
Metode baru yang dikembangkan oleh para peneliti Universitas Carnegie Mellon memungkinkan drone mempelajari persepsi dan tindakan secara terpisah.
Pendekatan dua tahap mengatasi "kesenjangan simulasi-ke-realitas", dan menciptakan cara untuk menyebarkan drone dengan aman yang sepenuhnya dilatih pada data simulasi ke dalam navigasi kursus dunia nyata.
Rogerio Bonatti, seorang mahasiswa doktoral di Institut Robotika Sekolah Ilmu Komputer, mengatakan:“Biasanya drone yang dilatih pada data simulasi fotorealistik terbaik sekalipun akan gagal di dunia nyata karena pencahayaan, warna, dan tekstur masih terlalu berbeda untuk diterjemahkan.
“Modul persepsi kami dilatih dengan dua modalitas untuk meningkatkan ketahanan terhadap variabilitas lingkungan.”
Modalitas pertama yang membantu melatih persepsi drone adalah citra. Para peneliti menggunakan simulator fotorealistik untuk menciptakan lingkungan yang mencakup drone, lapangan sepak bola, dan gerbang kotak merah yang diangkat dari tanah dan diposisikan secara acak untuk membuat lintasan.
Mereka kemudian membangun kumpulan data besar gambar simulasi dari ribuan konfigurasi drone dan gerbang yang dibuat secara acak.
Modalitas kedua yang diperlukan untuk persepsi adalah mengetahui posisi dan orientasi gerbang dalam ruang, yang dicapai oleh para peneliti menggunakan kumpulan data gambar simulasi.
Mengajar model menggunakan berbagai modalitas memperkuat representasi pengalaman drone yang kuat, yang berarti ia dapat memahami esensi lapangan dan gerbang dengan cara yang diterjemahkan dari simulasi menjadi kenyataan.
Mengompresi gambar agar memiliki lebih sedikit piksel membantu proses ini. Belajar dari representasi dimensi rendah memungkinkan model untuk melihat melalui gangguan visual di dunia nyata dan mengidentifikasi gerbang.
Dengan persepsi yang dipelajari, peneliti menyebarkan drone dalam simulasi sehingga dapat mempelajari kebijakan kontrolnya – atau cara bergerak secara fisik.
Dalam hal ini, ia mempelajari kecepatan mana yang harus diterapkan saat ia menavigasi jalur dan menemukan setiap gerbang. Karena ini adalah lingkungan simulasi, sebuah program dapat menghitung lintasan optimal drone sebelum diterapkan.
Metode ini memberikan keuntungan dibandingkan pembelajaran yang diawasi secara manual menggunakan operator ahli, karena pembelajaran di dunia nyata dapat berbahaya, memakan waktu, dan mahal.
Drone belajar untuk menavigasi kursus dengan melalui langkah-langkah pelatihan yang ditentukan oleh para peneliti. Bonatti mengatakan dia menantang kelincahan dan arah tertentu yang dibutuhkan drone di dunia nyata.
Bonatti mengatakan:“Saya membuat drone berbelok ke kiri dan ke kanan dalam bentuk trek yang berbeda, yang semakin sulit saat saya menambahkan lebih banyak noise. Robot tidak belajar membuat ulang melalui trek tertentu.
“Sebaliknya, dengan mengarahkan drone simulasi secara strategis, ia mempelajari semua elemen dan jenis gerakan untuk berlomba secara mandiri.”
Bonatti ingin mendorong teknologi saat ini untuk mendekati kemampuan manusia dalam menafsirkan isyarat lingkungan.
Dia mengatakan:“Sebagian besar pekerjaan pada balap drone otonom sejauh ini berfokus pada rekayasa sistem yang ditambah dengan sensor dan perangkat lunak ekstra dengan satu-satunya tujuan kecepatan.
“Sebaliknya, kami bertujuan untuk membuat struktur komputasi, yang terinspirasi oleh fungsi otak manusia, untuk memetakan informasi visual ke tindakan kontrol yang benar melalui representasi laten.”
Tapi balap drone hanyalah salah satu kemungkinan untuk jenis pembelajaran ini. Metode pemisahan persepsi dan kontrol dapat diterapkan pada banyak tugas berbeda untuk kecerdasan buatan seperti mengemudi atau memasak.
Meskipun model ini bergantung pada gambar dan posisi untuk mengajarkan persepsi, modalitas lain seperti suara dan bentuk dapat digunakan untuk upaya seperti mengidentifikasi mobil, satwa liar, atau objek
Peneliti yang berkontribusi pada pekerjaan ini termasuk Sebastian Scherer dari Carnegie Mellon, dan Ratnesh Madaan, Vibhav Vineet, dan Ashish Kapoor dari Microsoft Corporation.
Makalah, Mempelajari Kebijakan Visuomotor untuk Navigasi Udara Menggunakan Representasi Lintas-Modal , telah diterima di Konferensi Internasional tentang Robot dan Sistem Cerdas 2020.
Kode makalah ini bersumber terbuka dan tersedia untuk peneliti lain.
