Kecerdasan Buatan Membantu Robot Mengenali Objek Dengan Sentuhan

• Kerangka kerja persepsi berbasis pembelajaran mesin yang baru dapat mengenali lebih dari 90 objek berbeda dengan sentuhan.
• Ini menggunakan pengamatan visual dan taktil untuk mengidentifikasi apakah pengamatan ini sesuai dengan objek yang sama.

Manusia pandai mengasosiasikan penampilan dan sifat material objek di berbagai modalitas. Ketika kita melihat gunting, kita dapat membayangkan bagaimana jari kita menyentuh permukaan logam, kita dapat membayangkannya dalam pikiran kita – tidak hanya identitasnya, tetapi juga ukuran, bentuk, dan proporsinya.

Persepsi robot, di sisi lain, pada dasarnya tidak multi-modal. Meskipun robot yang ada yang dilengkapi dengan kamera canggih mampu membedakan antara dua objek yang berbeda, penglihatan saja seringkali terbukti tidak memadai, terutama dengan adanya oklusi dan kondisi cahaya yang buruk.

Sekarang, para peneliti di University of California, Berkeley telah mengembangkan metode yang memungkinkan manipulator robot mempelajari asosiasi multi-modal seperti manusia. Ini menggunakan pengamatan visual dan taktil untuk mengetahui apakah pengamatan ini sesuai dengan objek yang sama atau tidak.

Apa Yang Mereka Lakukan?

Tim peneliti menggunakan sensor sentuh resolusi tinggi melalui dua sensor GelSight (terpasang di jari robot) dan jaringan saraf convolutional (CNN) untuk asosiasi multi-modal.

Sensor ini menghasilkan pembacaan melalui kamera yang terintegrasi dengan gel elastomer, yang merekam lekukan dalam gel yang dibuat oleh kontak dengan objek. Bacaan ini kemudian diumpankan ke CNN untuk pemrosesan data.

Para peneliti melatih CNN ini untuk mengambil pembacaan taktil dari sensor dan gambar objek dari kamera, dan mengidentifikasi apakah input ini mewakili objek yang sama atau tidak. Untuk melakukan pengenalan instan, mereka menggabungkan pembacaan taktil robot dengan pengamatan visual objek kueri.

Referensi:arXiv:1903.03591 | UC Berkeley

Mereka menggunakan GPU NVIDIA GeForce GTX 1080 dan TITAN X dengan kerangka kerja pembelajaran mendalam CUDA untuk melatih dan menguji CNN untuk asosiasi multi-modal pada lebih dari 33.000 gambar.

Robot (kiri) terdiri dari dua sensor taktil GelSight (satu di setiap jari) dan kamera RGB depan | Contoh pengamatan taktil (tengah) dan gambar objek (kanan) yang sesuai dengan satu objek | Atas perkenan peneliti 

Hasilnya menunjukkan bahwa adalah mungkin untuk mengenali instance objek dengan pembacaan taktil saja, termasuk instance yang tidak pernah digunakan dalam pelatihan. Faktanya, CNN mengungguli beberapa sukarelawan manusia dan metode alternatif.

Apa Selanjutnya?

Sejauh ini, peneliti hanya mempertimbangkan genggaman individu. Pada penelitian selanjutnya, mereka akan menggunakan beberapa interaksi taktil untuk mendapatkan gambaran objek query yang lebih lengkap.

Baca:15 Berbagai Jenis Robot | Dijelaskan

Tim juga berencana untuk memperluas sistem mereka ke gudang robot di mana robot melihat gambar produk dan mengambilnya dengan merasakan objek di rak. Metode baru ini dapat diterapkan pada robot di lingkungan rumah untuk membuat mereka mengambil objek dari tempat yang sulit dijangkau.