AI Menerjemahkan Sinyal Neural Menjadi Ucapan Alami untuk Pasien Paralisis

• Peneliti menggunakan jaringan saraf rekuren untuk membantu orang yang paralis dan tidak dapat berkomunikasi.
• Jaringan mengubah aktivitas neural menjadi akustik ucapan.
• Ini dapat membantu pasien berkomunikasi dengan kosakata tak terbatas pada laju bicara alami.

Banyak kondisi neurologis mengakibatkan kehilangan komunikasi, sehingga pasien sepenuhnya bergantung pada alat bantu. Alat-alat ini memungkinkan mereka mengetik kalimat karakter per karakter hingga 10 kata per menit. Namun, kecepatan ini terlalu lambat dibandingkan percakapan sehari-hari yang berlangsung sekitar 150 kata per menit.

Untuk mengaktifkan tingkat komunikasi yang jauh lebih tinggi atau bahkan alami, peneliti di University of California San Francisco menggunakan pendekatan biomimetik yang menekankan gerakan saluran vokal dan suara yang dihasilkannya.

Mereka telah menunjukkan bahwa mungkin untuk menghasilkan ucapan sintetis secara langsung dari sinyal otak. Sinyal-sinyal ini mengkoordinasikan sekitar 100 otot untuk menggerakkan bibir, lidah, rahang, dan laring, membentuk napas menjadi suara yang akhirnya membentuk kata dan kalimat.

Tim merekam sinyal elektrokortikografi padat dari 5 peserta yang sedang diobati untuk epilepsi (gangguan neurologis). Semua peserta diminta membaca kalimat dengan keras sementara elektroda yang ditempatkan pada permukaan otak mereka mengukur sinyal yang dihasilkan.

Jaringan Saraf Rekuren

Peneliti mengembangkan jaringan saraf rekuren untuk mendekode sinyal kortikal dengan representasi perantara eksplisit dari dinamika artikulasi, dan akhirnya menyintesis ucapan yang dapat didengar.

Referensi: Nature | DOI:10.1038/s41586-019-1119-1 | UC San Francisco

Jaringan saraf dilatih pada suara peserta yang membaca kalimat dengan keras, bersama dengan sinyal kortikal. Mereka menggunakan optimizer ADAM untuk melatih algoritma. Untuk tahap pelatihan pertama dan kedua, ukuran batch 256 dan 25 digunakan, masing-masing.

Jaringan encoder-decoder tumpuk secara eksplice memasukkan sinyal otak untuk mendekode korelasi fisiologis primer dari aktivitas neural dan kemudian mentransformasinya menjadi akustik ucapan. Ini dioptimalkan untuk mendekode akustik secara langsung dari elektroda.

Sintesis ucapan dari kalimat lisan yang didekode neural | Kredit: para peneliti

Pemetaan statistik ini memungkinkan generalisasi dengan data pelatihan yang terbatas. Peneliti mampu mencapai performa yang memuaskan dengan 25 menit ucapan, dan performa terus meningkat saat mereka memberi lebih banyak data.

Apa Selanjutnya?

Studi ini menyajikan metode canggih untuk mengatasi hambatan besar yang dihadapi pasien dengan gangguan neurologis. Menurut hasil generalisasi, pembicara memiliki representasi ruang status kinestetik yang serupa, yang independen dari pembicara. Pengetahuan model — pemetaan kinestetik ke suara di seluruh peserta — dapat ditransfer.

Mengakses representasi berdimensi rendah dari aktivitas neural dari orang yang berbeda dapat memfasilitasi pembelajaran antarmuka otak-komputer. Temuan ini dapat membuka pintu baru untuk mewujudkan pemulihan ucapan untuk pasien paralisis.

Baca: AI Bisa Membaca Makalah Penelitian dan Memberikan Ringkasan Bahasa Inggris Sederhana

Jaringan saraf yang dikembangkan dalam studi ini memberikan kemampuan untuk berkomunikasi dengan kosakata tak terbatas pada laju bicara alami. Pendekatan sintesis ucapan langsung ini menangkap elemen prosodik ucapan, termasuk intonasi nada, yang tidak tersedia dengan keluaran teks. Terkait, ini mungkin lebih mudah dan intuitif untuk dipelajari oleh pasien di mana pemrosesan kortikal artikulasi masih utuh.