Earphone Melacak Ekspresi Wajah, Bahkan dengan Masker Wajah
Para peneliti telah menemukan earphone yang dapat terus melacak ekspresi wajah penuh dengan mengamati kontur pipi — dan kemudian dapat menerjemahkan ekspresi ke dalam emoji atau perintah ucapan diam. Dengan perangkat yang dipasang di telinga (disebut C-Face), pengguna dapat mengekspresikan emosi kepada kolaborator online tanpa memegang kamera di depan wajah mereka — alat komunikasi yang sangat berguna karena sebagian besar dunia terlibat dalam pekerjaan atau pembelajaran jarak jauh.
Perangkat ini lebih sederhana, tidak terlalu mencolok, dan lebih mampu daripada teknologi yang dapat dipakai yang dipasang di telinga untuk melacak ekspresi wajah. Pada teknologi wearable sebelumnya yang bertujuan untuk mengenali ekspresi wajah, sebagian besar solusi diperlukan untuk memasang sensor di wajah; bahkan dengan begitu banyak instrumentasi, mereka hanya bisa mengenali ekspresi wajah yang terbatas.
Dengan C-Face, avatar di lingkungan realitas virtual dapat mengekspresikan perasaan pengguna mereka yang sebenarnya dan instruktur dapat memperoleh informasi berharga tentang keterlibatan siswa selama pelajaran online. Itu juga dapat digunakan untuk mengarahkan sistem komputer, seperti pemutar musik, hanya menggunakan isyarat wajah. Karena bekerja dengan mendeteksi gerakan otot, C-Face dapat menangkap ekspresi wajah bahkan saat pengguna memakai masker.
Perangkat ini terdiri dari dua kamera RGB mini — kamera digital yang menangkap pita cahaya merah, hijau, dan biru — yang ditempatkan di bawah setiap telinga dengan headphone atau earphone. Kamera merekam perubahan kontur wajah yang disebabkan saat otot wajah bergerak. Saat melakukan ekspresi wajah, otot wajah meregang dan berkontraksi, mendorong dan menarik kulit dan mempengaruhi ketegangan otot wajah di dekatnya. Efek ini menyebabkan garis pipi (kontur) berubah dari sudut pandang telinga.
Setelah gambar diambil, mereka direkonstruksi menggunakan visi komputer dan model pembelajaran yang mendalam. Karena data mentah dalam 2D, jaringan saraf convolutional — semacam model kecerdasan buatan yang pandai mengklasifikasikan, mendeteksi, dan mengambil gambar — membantu merekonstruksi kontur menjadi ekspresi. Model menerjemahkan gambar pipi menjadi 42 titik fitur wajah, atau landmark, yang mewakili bentuk dan posisi mulut, mata, dan alis, karena fitur tersebut paling terpengaruh oleh perubahan ekspresi.
Karena pembatasan yang disebabkan oleh pandemi COVID-19, para peneliti hanya dapat menguji perangkat pada sembilan peserta. Mereka membandingkan kinerjanya dengan perpustakaan visi komputer tercanggih, yang mengekstrak landmark wajah dari gambar wajah penuh yang ditangkap oleh kamera depan. Rata-rata kesalahan bangunan terkenal yang direkonstruksi kurang dari 0,8 mm.
Ekspresi wajah yang direkonstruksi ini diwakili oleh 42 poin fitur juga dapat diterjemahkan ke delapan emoji termasuk "alami" dan "marah" serta delapan perintah ucapan diam yang dirancang untuk mengontrol perangkat musik seperti "bermain," "lagu berikutnya," dan " volume naik.”
Kemampuan untuk mengarahkan perangkat menggunakan ekspresi wajah dapat berguna untuk bekerja di ruang kerja bersama, misalnya, di mana orang mungkin tidak ingin mengganggu orang lain dengan berbicara keras. Menerjemahkan ekspresi ke dalam emoji dapat membantu mereka yang berada dalam kolaborasi realitas virtual berkomunikasi dengan lebih lancar.
Salah satu batasan untuk C-Face adalah kapasitas baterai earphone yang terbatas. Sebagai langkah selanjutnya, tim berencana untuk mengerjakan teknologi penginderaan yang menggunakan lebih sedikit daya.
