T&J:Platform Mengonversi Headphone dari Bodoh menjadi Cerdas

Perbedaan antara headphone pintar dan bodoh adalah headphone pintar lebih dari sekadar memutar musik — mereka bisa berupa monitor fisiologis dan layar sentuh virtual. Xiaoran Fan, saat menjadi kandidat doktor di Universitas Rutgers, memimpin tim peneliti yang mengembangkan metode yang disebut HeadFi yang menggunakan headphone biasa sebagai sensor.

Ringkasan Teknologi: Bagaimana proyek ini dimulai?

Penggemar Xiaoran: Saya seorang audiophile, jadi saya tertarik dengan headphone. Meskipun headphone sederhana dan sederhana digunakan untuk aplikasi seperti mixer studio dan audio rumah, baru-baru ini, kami telah melihat headphone pintar dari Apple, Samsung, dan Microsoft.

Kami selalu tahu bahwa driver di headphone, pada prinsipnya bekerja mirip dengan mikrofon, jadi dalam beberapa hal mereka timbal balik. Karena mikrofon dapat merasakan sinyal, itu berarti headphone secara default juga dapat melakukannya. Jadi, meskipun headphone berpotensi menjadi pintar, belum ada yang menggunakan IQ itu. Itu adalah insentif awal yang memulai saya ke arah ini. Plus, penasihat saya, Rich Howard telah menghabiskan hidupnya melakukan pengukuran sinyal kecil, jadi ketika saya berbicara dengannya tentang ide ini, dia menunjukkan beberapa metode yang bisa saya coba. Kemudian saya terjun dan setelah banyak eksplorasi dan eksperimen, kami dapat menerbitkan makalah tentang pekerjaan kami.

Ringkasan Teknologi: Bagaimana headphone digunakan sebagai mikrofon?

Penggemar: Pengemudi itu sendiri rumit — ia memiliki resistansi, kapasitansi, dan induktansi — ini adalah sistem impedansi yang kompleks. Teknologi tepatnya tergantung pada jenis headphone yang Anda miliki, tetapi pada dasarnya, semuanya hanyalah transduser yang mengubah sinyal listrik menjadi sinyal mekanis. Transduser ini pada prinsipnya dapat dibuat untuk beroperasi secara terbalik. Sinyal mekanis dapat menggetarkan diafragma, yang akan menggerakkan kumparan suara bolak-balik untuk menghasilkan sinyal listrik; jadi, pada prinsipnya mereka adalah timbal balik.

Tapi masalahnya adalah headphone dioptimalkan untuk memutar musik — sinyal musiknya dominan. Meskipun Anda dapat merekam sinyal eksitasi dari luar pada saat yang sama, itu bisa 1000 kali lebih kecil dari sinyal musik. Jadi, tantangannya adalah bagaimana melakukan tugas penginderaan saat headphone masih memutar musik. Jika kami tidak dapat melakukannya dan pengguna harus menghentikan musik untuk menggunakan fungsi penginderaan, maka ini tidak berguna.

Jadi, kami melakukan sesuatu yang sangat menarik. Headphone datang berpasangan, dengan driver kiri dan driver kanan. Kami memanfaatkan fakta bahwa headphone dibuat agar driver kiri dan kanannya cocok satu sama lain. Itu berarti sinyal suara di keduanya seimbang. Oleh karena itu, kita dapat menggunakan sinyal input dari driver kiri untuk membatalkan sinyal input dari driver kanan menggunakan fakta bahwa kita mengetahui sinyal musik yang tepat yang kita mainkan untuk kedua saluran. Oleh karena itu, jika ada perbedaan antara keluaran driver kiri dan kanan, mengurangkan keluaran akan menghasilkan sinyal yang berbeda.

Katakanlah saya berbicara — kedua headphone akan menangkap suara saya tetapi suara dari mulut saya ke pengemudi kiri dan suara dari mulut saya ke pengemudi kanan menyebar melalui saluran yang berbeda. Saluran fisik antara suara saya dan telinga kiri saya dan saluran antara suara saya dan telinga kanan tidak sama. Ini karena struktur tulang dan jaringan saya berbeda dari kiri ke kanan.

Jadi, jika Anda melakukan pengurangan, akan ada perbedaan antara driver kiri dan kanan, yang dapat ditangkap. Pengurangan ini membatalkan sinyal musik tetapi memungkinkan kita untuk menangkap perbedaan sinyal penginderaan. Kita dapat menggunakan informasi kecil itu untuk melakukan sesuatu.

Ringkasan Teknologi :Bisakah Anda menjelaskan kepada saya bagaimana Anda dapat menggunakan headphone untuk mengukur hal-hal seperti mengidentifikasi pengguna; pemantauan detak jantung; dan mengenali gerakan.

Kipas :Kami sebenarnya mempresentasikan empat aplikasi dalam makalah kami:pengenalan gerakan, pemantauan detak jantung, identifikasi pengguna, dan juga — yang paling sederhana — komunikasi suara.

Ambil pemantauan detak jantung sebagai contoh. Saat Anda terburu-buru, jantung Anda terpompa — ini menghasilkan getaran mekanis di seluruh tubuh Anda, yang dapat ditangkap oleh headphone.

Tetapi seperti halnya suara, saluran dari hati Anda ke headphone kiri dan headphone kanan berbeda. Dengan menjalankan sinyal perbedaan melalui algoritme kami, kami dapat menemukan periode detak jantung Anda.

Untuk pengenalan gerakan, katakanlah Anda mengetuk atau menyentuh penutup kanan headphone. Pengemudi kanan akan menerima sinyal sentuh, tetapi kiri akan menerima sinyal sentuh yang jauh lebih lemah. Setelah Anda melakukan pengurangan, Anda akan tahu fase. Jika tepi naik ke satu arah, itu berarti ponsel kanan, Jika tepi naik ke arah lain, itu adalah sentuhan di kiri.

Tetapi ada cara lain yang lebih maju untuk mendefinisikan isyarat. Misalnya, sinyal yang dihasilkan oleh goresan akan lebih rumit. Dalam hal ini, Anda dapat menerapkan beberapa metode pembelajaran mendalam untuk mempelajari pola sinyal guna mengidentifikasi isyarat.

Tapi menurut saya aplikasi yang paling menarik adalah identifikasi pengguna. Cara kerjanya adalah headphone menghasilkan sinyal gesek — menggesek pita frekuensi dan mengirim sinyal ke telinga Anda. Sinyal menyebar melalui saluran telinga Anda, dipantulkan kembali, dan ditangkap oleh driver headphone yang sama yang menghasilkannya. Pengemudi kiri dan kanan sama-sama menangkap sinyal dan melakukan pengurangan. Bagian yang menarik adalah bahwa saluran telinga setiap orang memiliki struktur yang berbeda — Seperti sidik jari — sehingga gema yang diterima oleh headphone akan berbeda untuk setiap orang. Yang lebih menarik lagi adalah untuk setiap orang, saluran telinga kiri dan kanan berbeda, jadi jika Anda melakukan pengurangan ada perbedaan sinyal. Dan perbedaan itu juga berbeda dari orang ke orang — bahkan di antara kembar identik. Kami melakukan eksperimen dengan kembar identik dan kami memiliki tingkat keberhasilan lebih dari 95%. Saya pikir itu bagian yang keren dari aplikasi.

Ringkasan Teknologi :Mengapa Anda menggunakan sinyal frekuensi tinggi?

Kipas :Alasan kami menghasilkan frekuensi tinggi adalah karena ini seperti CT scan — CT scan ultrasonik. Kami menggeser rentang frekuensi karena saluran telinga kami memiliki struktur berbeda yang dapat dijelajahi oleh frekuensi yang lebih tinggi dengan resolusi yang lebih baik, untuk mengidentifikasi bentuk khas saluran telinga tertentu. Kami menyapu frekuensi untuk menemukan frekuensi yang memberikan hasil terbaik untuk telinga tersebut.

Ringkasan Teknologi :Bagaimana cara menghasilkan sinyal sapuan?

Kipas :Generator kicauan disertakan dalam perangkat lunak kami.

Kami memiliki proses yang sepenuhnya otomatis. Ada dua langkah. Langkah pertama adalah mendeteksi apakah headphone Anda ada di kepala Anda, lalu Anda menjalankan aplikasinya.

Kami menggunakan trik menarik untuk memeriksa apakah headphone ada di kepala Anda. Ini didasarkan pada efek kerang. Saat Anda berjalan di pantai, jika Anda mengambil kerang dan menjepitnya di dekat telinga Anda, Anda akan mendengar sesuatu seperti suara laut. Itu karena kulit kerang dan saluran telinga Anda membentuk ruang tertutup semi-tertutup yang beresonansi dan memperkuat beberapa frekuensi.

Sama halnya dengan headphone. Ketika Anda memiliki headphone di telinga Anda, beberapa frekuensi telah diperkuat dan kami dapat mendeteksi apakah headphone ada di telinga Anda atau tidak hanya dengan melihat kekuatan sinyal pada berbagai frekuensi. Jika headphone terpasang di kepala Anda, kami mulai mengirimkan kicauan.

Tapi kami tidak terbatas pada empat aplikasi ini. Kami juga dapat melakukan pengukuran seperti jumlah langkah dan pemantauan pernapasan.

Ringkasan Teknologi :Bagaimana Anda tahu apakah input berasal dari langkah atau dari pernapasan?

Kipas :Sinyalnya akan berbeda satu sama lain sehingga Anda dapat menggunakan model pembelajaran mendalam untuk membedakannya.

Ini juga bisa digunakan untuk perawatan lansia. Itu bisa mengenali jika seseorang jatuh, jadi kami harus menelepon 911. Kami juga berencana untuk mengatasinya.

Kontribusi intelektual inti untuk proyek kami adalah kami menghadirkan platform yang dapat membuat headphone stok menjadi pintar, yang memungkinkan berbagai aplikasi yang memungkinkan. Pada tingkat tinggi, teknologi ini dapat mengaktifkan antarmuka manusia/headphone/jaringan di mana-mana karena begitu banyak headphone "bodoh" yang ada di luar sana yang dapat memanfaatkan HeadFi.

Ringkasan Teknologi :Ketika Anda mengatakan platform, maksud Anda perangkat lunak?

Kipas :Ini adalah solusi perangkat lunak/perangkat keras. Perangkat kerasnya adalah jembatan Wheatstone untuk melakukan pembatalan antara driver kiri dan kanan. Setelah itu, kita perlu melakukan pemrosesan sinyal untuk tugas-tugas seperti klasifikasi, termasuk dukungan untuk mesin vektor atau kerangka kerja pembelajaran mendalam. Jadi, meskipun ini adalah solusi gabungan perangkat lunak/perangkat keras, perangkat kerasnya bisa sangat sederhana — sesederhana hanya dengan dua resistor.

Ringkasan Teknologi :Anda memiliki adaptor yang Anda pasang?

Kipas :Ya, itulah prototipe perangkat keras kami saat ini.

Ringkasan Teknologi :Dan kemudian Anda harus mendesain aplikasi untuk mengunduh beban ke ponsel cerdas?

Kipas :Ya, adaptor yang kami gunakan saat ini memiliki koneksi USB Tipe C, yang cukup umum dengan headphone dan ponsel saat ini.

Ringkasan Teknologi :Apakah Anda memiliki gambaran kasar tentang kapan ini akan dikomersialkan?

Kipas :Kami menggunakan situs web pusat komersialisasi Rutgers untuk mencari mitra saat ini dan sedang menjajaki mitra potensial seperti Apple atau Samsung atau Microsoft. Kami juga mengembangkan perangkat keras yang ditingkatkan, karena adaptor kami saat ini hanyalah papan sirkuit cetak terbuka. Sejauh ini, kami telah berhasil mengecilkan ukuran papan saat ini menjadi 3 cm x 2 cm. Kami bertujuan untuk membuatnya plug and play dan kami juga sedang menulis perangkat lunak Android agar mudah didemonstrasikan.

Versi yang diedit dari wawancara ini muncul di Tech Briefs edisi Mei 2021.