Dari Dasar hingga Cerdas: HeadFi Mengubah Headphone Biasa menjadi Pengawas Kesehatan Multifungsi

Perbedaan antara headphone cerdas dan headphone konvensional adalah headphone cerdas tidak hanya memutar musik — mereka juga dapat berfungsi sebagai monitor fisiologis dan layar sentuh virtual. Saat masih menjadi calon doktoral di Rutgers University, Xiaoran Fan memimpin tim peneliti yang mengembangkan metode bernama HeadFi yang menggunakan headphone biasa sebagai sensor.

Tech Briefs: Bagaimana proyek ini dimulai?

Xiaoran Fan: Saya pecinta audio, jadi saya tertarik pada headphone. Meskipun headphone sederhana digunakan untuk aplikasi seperti pemixer studio dan audio rumah, akhir-akhir ini kita sering melihat headphone cerdas dari Apple, Samsung, dan Microsoft.

Kami selalu tahu bahwa driver dalam headphone, dalam prinsipnya, bekerja secara mirip dengan mikrofon, jadi dalam beberapa hal mereka bersifat resiprok. Karena mikrofon dapat merasakan sinyal, berarti headphone secara default juga dapat melakukannya. Jadi, meskipun headphone memiliki potensi untuk menjadi cerdas, belum ada yang menggunakan kecerdasan itu. Itulah insentif awal yang memulai saya dalam arah ini. Selain itu, pengasuh saya, Rich Howard, telah menghabiskan hidupnya melakukan pengukuran sinyal kecil, jadi ketika saya bicara dengan dia tentang ide ini, dia menunjukkan beberapa metode yang dapat saya coba. Kemudian saya menyelam ke dalamnya dan setelah banyak eksplorasi serta eksperimen, kami dapat menerbitkan sebuah paper tentang pekerjaan kami.

Tech Briefs: Bagaimana headphone digunakan sebagai mikrofon?

Fan: Driver itu sendiri rumit — memiliki resistansi, kapasitansi, dan induktansi — ini adalah sistem impedansi kompleks. Teknologi yang tepat tergantung pada jenis headphone yang Anda miliki, tetapi dasarnya, semuanya hanyalah tranduser yang mengubah sinyal listrik menjadi sinyal mekanis. Tranduser ini, dalam prinsipnya, dapat dibuat untuk beroperasi secara terbalik. Sinyal mekanis dapat getarkan diafragma, yang akan memindahkan coil suara ke depan dan belakang untuk menghasilkan sinyal listrik; jadi, dalam prinsipnya mereka resiprok.

Namanya masalahnya adalah headphone dioptimalkan untuk memutar musik — sinyal musik adalah yang dominan. Meskipun Anda dapat merekam sinyal eksitasi dari luar pada saat yang sama, sinyal itu bisa 1000 kali lebih kecil dari sinyal musik. Jadi, tantangannya adalah bagaimana melakukan tugas penginderaan sementara headphone masih memutar musik. Jika kami tidak dapat melakukannya dan pengguna harus menghentikan musik untuk menggunakan fungsi penginderaan, maka ini tidak berguna.

Jadi, kami melakukan sesuatu yang sangat menarik. Headphone datang dalam pasangan, dengan driver kiri dan driver kanan. Kami memanfaatkan fakta bahwa headphone diproduksi sehingga driver kiri dan kanan cocok satu sama lain. Itu berarti sinyal suara di keduanya seimbang. Kami dapat menggunakan sinyal input dari driver kiri untuk membatalkan sinyal input dari driver kanan dengan menggunakan fakta bahwa kami tahu sinyal musik yang sama yang kami putar untuk kedua saluran. Jika, oleh karena itu, ada perbedaan antara keluaran driver kiri dan kanan, pengurangan keluaran akan menghasilkan sinyal perbedaan.

Misalnya, saya berbicara — kedua headphone akan menangkap suara saya, tetapi suara dari mulut saya ke driver kiri dan suara dari mulut saya ke driver kanan menyebar melalui saluran yang berbeda. Saluran fisik antara suara saya dan telinga kiri saya dan yang antara suara saya dan telinga kanan saya tidak sama. Ini karena tulang dan jaringan saya terstruktur secara berbeda dari kiri ke kanan.

Jadi, jika Anda melakukan pengurangan, akan ada perbedaan antara driver kiri dan kanan, yang dapat ditangkap. Pengurangan ini membatalkan sinyal musik tetapi memungkinkan kami untuk menangkap sinyal diferensial penginderaan. Kami dapat menggunakan informasi kecil itu untuk melakukan sesuatu.

Tech Briefs: Bisakah Anda menjelaskan kepada saya bagaimana Anda dapat menggunakan headphone untuk mengukur hal-hal seperti mengidentifikasi pengguna; memantau detak jantung; dan mengenali gerakan.

Fan: Kami sebenarnya menyajikan empat aplikasi dalam paper kami: pengenalan gerakan, pemantauan detak jantung, identifikasi pengguna, dan juga — yang paling sederhana — komunikasi suara.

Ambillah pemantauan detak jantung sebagai contoh. Saat Anda tergesa-gesa, jantung Anda memompa — ini menghasilkan getaran mekanis di seluruh tubuh Anda, yang dapat ditangkap oleh headphone.

Tetapi sama seperti dengan suara, saluran dari jantung Anda ke headphone kiri dan ke headphone kanan berbeda. Dengan menjalankan sinyal perbedaan melalui algoritma kami, kami dapat menemukan periode detak jantung Anda.

Sementara itu, untuk pengenalan gerakan, misalnya Anda mengetuk atau menyentuh penutup kanan headphone. Driver kanan akan menerima sinyal sentuhan, tetapi kiri akan menerima sinyal sentuhan yang jauh lebih lemah. Setelah Anda melakukan pengurangan, Anda akan tahu fasa. Jika tepi naik dalam satu arah, berarti itu adalah telepon kanan. Jika tepi naik dalam arah lain, itu adalah sentuhan di kiri.

Tetapi ada cara lainnya yang lebih canggih untuk mendefinisikan gerakan. Misalnya, sinyal yang dihasilkan oleh goresan akan lebih rumit. Dalam hal itu, Anda dapat menerapkan beberapa metode deep learning untuk mempelajari pola sinyal dan mengidentifikasi gerakan.

Tetapi menurut saya, aplikasi paling menarik adalah identifikasi pengguna. Caranya bekerja adalah headphone menghasilkan sinyal geser — menggeser sebuah band frekuensi dan mengirim sinyal ke telinga Anda. Sinyal menyebar melalui saluran telinga, terpantul kembali, dan ditangkap oleh driver headphone yang sama yang menghasilkannya. Driver kiri dan kanan keduanya menangkap sinyal dan melakukan pengurangan. Bagian yang menarik adalah saluran telinga setiap orang memiliki struktur yang berbeda — seperti sidik jari — jadi berarti gema yang diterima oleh headphone akan berbeda untuk setiap orang. Yang membuatnya lebih menarik lagi adalah bagi setiap orang, saluran telinga kiri dan kanan berbeda, jadi jika Anda melakukan pengurangan ada sinyal perbedaan. Dan perbedaan itu juga berbeda dari orang ke orang — bahkan antara kembar identik. Kami melakukan eksperimen dengan kembar identik dan kami memiliki tingkat keberhasilan di atas 95 persen. Menurut saya, itu bagian yang keren dari aplikasi ini.

Tech Briefs: Mengapa Anda menggunakan sinyal frekuensi tinggi?

Fan: Alasan kami menghasilkan frekuensi tinggi adalah karena itu mirip dengan scan CT — scan CT ultrasonik. Kami menggeser rentang frekuensi karena saluran telinga kita memiliki struktur yang berbeda yang dapat dijelajahi oleh frekuensi lebih tinggi dengan resolusi yang lebih baik, untuk mengidentifikasi bentuk khas saluran telinga tertentu. Kami menyisir frekuensi untuk menemukan yang memberikan hasil terbaik untuk telinga tersebut.

Tech Briefs: Bagaimana Anda menghasilkan sinyal penyisiran?

Fan: Sebuah generator chirp disertakan dalam perangkat lunak kami.

Kami memiliki proses yang sepenuhnya terotomatisasi. Ada dua langkah. Langkah pertama adalah mendeteksi apakah headphone Anda berada di kepala Anda, lalu Anda menjalankan aplikasi.

Kami menggunakan trik yang menarik untuk memeriksa apakah headphone berada di kepala Anda. Ini didasarkan pada efek kerang laut. Saat Anda berjalan di tepi pantai, jika Anda mengambil kerang laut dan menempelkannya di telinga Anda, Anda mendengar sesuatu seperti suara laut. Itu karena kerang laut dan saluran telinga Anda membentuk ruang semi-tertutup yang berezonansi dan memperkuat beberapa frekuensi.

Sama halnya dengan headphone. Saat Anda memakai headphone di telinga, beberapa frekuensi telah diperkuat dan kami dapat mendeteksi apakah headphone berada di telinga Anda atau tidak dengan hanya melihat kekuatan sinyal pada berbagai frekuensi. Jika headphone ada di kepala Anda, kami mulai mengirim chirp.

Tetapi kami tidak terbatas pada keempat aplikasi ini. Kami juga dapat melakukan pengukuran seperti hitungan langkah dan pemantauan pernapasan.

Tech Briefs: Bagaimana Anda akan tahu apakah input adalah dari langkah atau dari pernapasan?

Fan: Sinyalnya akan berbeda satu sama lain jadi Anda dapat menggunakan model deep learning untuk membedakannya.

Ini juga dapat digunakan untuk perawatan lansia. Ini dapat mengenali apakah seorang jatuh, jadi kita harus menelepon 911. Kami juga berencana untuk bekerja pada hal itu.

Kontribusi intelektual inti untuk proyek kami adalah kami menyajikan sebuah platform yang dapat membuat headphone standar menjadi cerdas, yang memungkinkan berbagai kemungkinan aplikasi. Pada tingkat tinggi, teknologi ini dapat memungkinkan antarmuka manusia/headphone/jaringan yang everywhere karena begitu banyak headphone "bodoh" yang ada di luar sana dapat mendapatkan manfaat dari HeadFi.

Tech Briefs: Ketika Anda mengatakan platform, apakah Anda merujuk pada perangkat lunak?

Fan: Ini adalah solusi perangkat lunak/perangkat keras. Perangkat kerasnya adalah jembatan Wheatstone untuk melakukan pembatalan antara driver kiri dan kanan. Setelah itu, kami perlu melakukan pemrosesan sinyal untuk tugas seperti klasifikasi, termasuk dukungan untuk mesin vektor atau framework deep learning. Jadi, meskipun ini adalah solusi gabungan perangkat lunak/perangkat keras, perangkat kerasnya dapat sangat sederhana — sederhana seperti hanya dua resistor.

Tech Briefs: Anda memiliki adaptor yang Anda colokkan?

Fan: Ya, itu adalah prototipe perangkat keras kami saat ini.

Tech Briefs: Dan kemudian Anda harus merancang aplikasi untuk diunduh ke smartphone?

Fan: Ya, adaptor yang kami gunakan saat ini memiliki koneksi USB Type C, yang cukup umum dengan headphone dan ponsel saat ini.

Tech Briefs: Apakah Anda memiliki ide kasar tentang kapan ini mungkin dikomersialkan?

Fan: Kami menggunakan situs web pusat komersialisasi Rutgers untuk mencari mitra saat ini dan mengeksplorasi mitra potensial seperti Apple atau Samsung atau Microsoft. Kami juga mengembangkan perangkat keras yang ditingkatkan, karena adaptor kami saat ini hanyalah papan sirkuit terbuka. Sejauh ini, kami dapat mengecilkan ukuran papan saat ini hingga 3 cm x 2 cm. Kami bertujuan untuk membuatnya plug and play dan kami juga menulis perangkat lunak Android untuk memudahkan demonstrasi.

Versi diedit dari wawancara ini muncul dalam edisi Mei 2021 Tech Briefs.