AI Memberdayakan Robot untuk Mengidentifikasi 90+ Objek dengan Sentuhan
Kerangka kerja persepsi baru berbasis machine learning dapat mengenali lebih dari 90 objek berbeda dengan sentuhan.
Model ini menggunakan pengamatan visual dan taktil untuk mengidentifikasi apakah pengamatan ini berkorespondensi dengan objek yang sama.
Manusia baik dalam menghubungkan tampilan dan properti material objek di berbagai modalitas. Ketika kita melihat gunting, kita dapat membayangkan apa yang akan terasa oleh jari kita ketika menyentuh permukaan logam, kita dapat membayangkannya dalam pikiran kita – bukan hanya identitasnya, tetapi juga ukuran, bentuk, dan proporsi.
Persepsi robot, di sisi lain, tidak secara inheren multi-modal. Meskipun robot yang dilengkapi kamera canggih yang ada mampu membedakan antara dua objek yang berbeda, penglihatan saja seringkali dapat terbukti tidak mencukupi, terutama dalam kehadiran oklusi dan kondisi cahaya buruk.
Sekarang, peneliti di Universitas California, Berkeley telah mengembangkan metode yang memungkinkan pemanipulator robot untuk belajar asosiasi multi-modal seperti manusia. Ia menggunakan pengamatan visual dan taktil untuk mengetahui apakah pengamatan ini berkorespondensi dengan objek yang sama atau tidak.
Apa yang Benar-Baranya Mereka Lakukan?
Tim peneliti menggunakan sentuhan resolusi tinggi melalui dua sensor GelSight (dipasang pada jari robot) dan jaringan saraf konvolusi (CNN) untuk asosiasi multi-modal.
Sensor ini menghasilkan pembacaan melalui kamera yang terintegrasi dengan gel elastomer, yang merekam indetan dalam gel yang dibuat oleh kontak dengan objek. Pembacaan ini kemudian dikirim ke CNN untuk pemrosesan data.
Peneliti melatih CNN ini untuk mengambil pembacaan taktil dari sensor dan gambar objek dari kamera, dan mengidentifikasi apakah input ini mewakili objek yang sama atau tidak. Untuk melakukan pengenalan instance, mereka menggabungkan pembacaan taktil robot dengan pengamatan visual objek kueri.
Referensi: arXiv:1903.03591 | UC Berkeley
Mereka menggunakan GPU NVIDIA GeForce GTX 1080 dan TITAN X dengan kerangka kerja deep learning CUDA untuk melatih dan menguji CNN untuk asosiasi multi-modal pada lebih dari 33.000 gambar.
Robot (kiri) yang terdiri dari dua sensor taktil GelSight (satu di setiap jari) dan kamera RGB depan | Contoh pengamatan taktil (tengah) dan gambar objek (kanan) yang berkorespondensi dengan satu objek | Dari pihak peneliti
Hasil menunjukkan bahwa memungkinkan untuk mengenali instance objek hanya dengan pembacaan taktil, termasuk instance yang tidak pernah digunakan dalam pelatihan. Faktanya, CNN mengalahkan beberapa sukarelawan manusia dan metode alternatif.
Apa Selanjutnya?
Sejauh ini, peneliti hanya mempertimbangkan gagasan individu. Dalam studi selanjutnya, mereka akan menggunakan interaksi taktil ganda untuk mendapatkan gambaran yang lebih lengkap tentang objek kueri.
Baca: 15 Jenis Berbeda Robot | Dijelaskan
Tim juga berencana untuk memperluas sistem mereka ke gudang robotik di mana robot melihat gambar produk dan mengambilnya dengan merasakan objek di rak. Metode baru ini dapat diterapkan pada robot di lingkungan rumah untuk membuat mereka mengambil objek dari tempat yang sulit dijangkau.
