Robot Lunak Mendeteki Sentuhan Manusia melalui Kamera dan Bayangan—Solusi Hemat Biaya dan Tanpa Sentuhan

Peneliti telah menciptakan metode hemat biaya untuk robot lunak yang dapat merubah bentuk untuk mendeteksi berbagai interaksi fisik, dari palmulan hingga pukulan dan pelukan, tanpa mengandalkan sentuhan sama sekali. Sebaliknya, kamera USB yang terletak di dalam robot menangkap gerakan bayangan gerakan tangan pada kulit robot dan mengklasifikasikannya dengan perangkat lunak pembelajaran mesin.

Sentuhan adalah mode komunikasi penting untuk sebagian besar organisme tetapi hampir tidak ada dalam interaksi manusia-robot. Salah satu alasannya adalah sentuhan seluruh tubuh dulu memerlukan sejumlah besar sensor dan oleh karena itu tidak praktis untuk diimplementasikan.

Teknologi ShadowSense berasal dari pekerjaan untuk mengembangkan robot yang dapat mengembang untuk memandu orang ke keselamatan selama evakuasi darurat. Robot tersebut akan perlu dapat berkomunikasi dengan manusia dalam kondisi dan lingkungan ekstrim. Bayangkan robot yang secara fisik memandu seseorang melalui koridor yang berisikan kebisingan dan asap dengan mendeteksi tekanan tangan orang tersebut.

Daripada memasang sejumlah besar sensor kontak — yang akan menambah bobot dan kabel kompleks pada robot dan sulit disematkan ke dalam kulit yang merubah bentuk — tim mengambil pendekatan yang tidak konvensional. Untuk mengukur sentuhan, mereka melihat ke arah penglihatan. Dengan menempatkan kamera di dalam robot, mereka dapat menyimpulkan bagaimana orang menyentuhnya dan apa niat orang tersebut hanya dengan melihat citra bayangan.

Robot prototipe terdiri dari kantong inflatable lunak dari kulit nylon yang diperentang di sekitar kerangka silinder, setinggi sekitar empat kaki, yang dipasang pada basis mobile. Di bawah kulit robot ada kamera USB yang terhubung ke laptop. Peneliti mengembangkan algoritma berbasis jaringan saraf yang menggunakan data pelatihan yang sebelumnya direkam untuk membedakan antara enam gerakan sentuhan — menyentuh dengan telapak tangan, pukulan, menyentuh dengan kedua tangan, pelukan, menunjuk, dan tidak menyentuh sama sekali — dengan akurasi 87,5 hingga 96%, tergantung pada pencahayaan.

Robot dapat diprogram untuk merespons sentuhan dan gerakan tertentu seperti menggelinding pergi atau mengeluarkan pesan melalui speaker. Dan kulit robot memiliki potensi untuk diubah menjadi layar interaktif. Dengan mengumpulkan cukup data, robot dapat dilatih untuk mengenal kosakata interaksi yang lebih luas, yang disesuaikan dengan tugas robot.

Robot bahkan tidak harus menjadi robot. Teknologi ShadowSense dapat disisipkan ke dalam bahan lain, seperti balon, mengubahnya menjadi perangkat sensitif sentuhan. Di masa depan, peneliti akan mencoba menggunakan perangkat optik seperti lensa dan cermin untuk memungkinkan bentuk tambahan.

ShadowSense juga menawarkan privasi. Jika robot hanya dapat melihat manusia dalam bentuk bayangannya, ia dapat mendeteksi apa yang dilakukan orang tanpa mengambil citra dengan resolusi tinggi dari penampilan mereka. Ini memberikan filter fisik dan perlindungan, serta memberikan kenyamanan psikologis.

Kemampuan untuk berinteraksi secara fisik dan memahami gerakan dan mood seseorang pada akhirnya mungkin sama pentingnya bagi orang itu seperti bagi robot.