Terobasan AI: Navigasi Otonom Tanpa Peta Menggunakan Kompas, Kamera, dan GPS

• Peneliti di Facebook AI mengembangkan algoritma pembelajaran penguatan baru bernama DD-PPO.
• Ia dapat menavigasi lingkungan yang kompleks hanya menggunakan data kompas, kamera RGB-D, dan GPS.

Membangun mesin cerdas yang berinteraksi secara cerdas dengan dunia fisika telah menjadi tujuan jangka panjang komunitas AI. Tantangan utama adalah mengajari mesin-mesin ini sehingga mereka dapat menavigasi lingkungan yang kompleks dan tidak familiar secara efisien tanpa menggunakan peta.

Biasanya, peta dunia nyata menjadi usang dalam beberapa bulan, karena bangunan dan struktur berubah, dan benda dipindahkan. Itulah mengapa sangat perlu membangun AI untuk dunia fisika yang dapat menavigasi tanpa peta.

Dengan memperhatikan hal-hal ini, peneliti di Facebook AI telah mengembangkan algoritma pembelajaran penguatan (RL) baru yang secara efektif menyelesaikan tugas navigasi titik-tujuan hanya menggunakan data kompas, kamera RGB-D, dan GPS. Algoritma skala besar ini disebut DD-PPO (decentralized distributed proximal policy optimization).

Arsitektur Terdistribusi RL Baru Skala dengan Baik

Saat ini, sistem berbasis pembelajaran mesin mampu mengungguli pakar manusia dalam berbagai permainan kompleks. Namun, karena sistem ini bergantung pada volume besar sampel pelatihan, sangat mustahil untuk membangunnya tanpa paralelisasi terdistribusi skala besar.

Arsitektur pembelajaran penguatan terdistribusi saat ini — termasuk ribuan pekerja (CPU) dan satu server parameter — tidak skala dengan baik. Itulah mengapa peneliti mengusulkan teknik pembelajaran penguatan terdistribusi sinkron.

DD-PPO berjalan di beberapa mesin dan tidak memiliki server parameter. Setiap pekerja (CPU) bergantian antara mengumpulkan pengalaman di lingkungan simulasi yang intensif sumber daya dan dipercepat GPU dan mengoptimalkan model. Dalam status komunikasi eksplisit, semua pekerja menyinkronkan pembaruan mereka ke model. Dengan kata lain, distribusi adalah sinkron.

Semua pekerja mensimulasikan agen yang melakukan navigasi titik-tujuan, dan kemudian mengoptimalkan model dan menyinkronkan pembaruan mereka | Begini data dibagikan selama pelatihan dengan DD-PPO

Dengan pendekatan ini, DD-PPO menunjukkan skalasi hampir linier: ia mampu mencapai percepatan 107 kali pada 128 GPU dibandingkan implementasi berurutan.

Referensi: arXiv:1911.00357 | Facebook AI

Navigasi Titik-Tujuan Hampir Sempurna

Dalam navigasi titik-tujuan, agen ditempatkan pada posisi/orientasi awal acak di lingkungan yang tidak familiar dan diberi tugas untuk menavigasi ke koordinat target tanpa menggunakan peta. Ia dapat menggunakan hanya kompas, GPS, dan kamera RGB atau RGB-D.

Peneliti memanfaatkan fitur skalasi DD-PPO untuk melatih agen selama 2,5 miliar langkah, yang setara dengan 80 tahun pengalaman manusia. Alih-alih dalam beberapa bulan, pelatihan selesai dalam kurang dari tiga hari dengan 64 GPU.

Hasilnya menunjukkan bahwa 90% performa puncak dicapai dalam 100 juta langkah pertama dengan sumber daya komputasi yang lebih sedikit (8 GPU). Dengan miliar langkah pengalaman, agen memperoleh tingkat keberhasilan 99,9%. Dalam kontras, sistem sebelumnya mencapai tingkat keberhasilan 92%.

Agen mundur setelah memilih jalur yang salah untuk mencapai posisi target | Kurnia peneliti

Aplikasi

Agen AI ini dapat membantu orang di dunia fisika. Misalnya, mereka dapat menunjukkan informasi yang relevan kepada pengguna yang menggunakan kacamata realitas augmentasi, robot dapat mengambil item dari meja di lantai atas, dan sistem yang didukung AI dapat membantu orang dengan gangguan penglihatan.

Model yang dibangun dalam studi ini dapat bekerja dalam pengaturan biasa, seperti di dalam laboratorium dan gedung kantor, di mana titik data tambahan (peta dan data GPS) tidak tersedia.

Baca: Facebook Develops AI Capable of Copying Anyone’s Voice With Unprecedented Accuracy

Meskipun model ini mengungguli jaringan syaraf konvolusional yang dilatih ImageNet dan dapat berfungsi sebagai sumber daya universal, masih banyak yang harus dilakukan untuk mengembangkan sistem yang belajar menavigasi lingkungan yang kompleks. Peneliti saat ini mengeksplorasi pendekatan baru untuk menerapkan navigasi titik-tujuan hanya dengan RGB.