Speathe: Komunikasi Berbasis Napas untuk Pengguna Paralisis

Speathe: Komunikasi Berbasis Napas untuk Pengguna Paralisis

Speathe adalah platform komunikasi inovatif dan terus berkembang yang mengubah pola napas pengguna menjadi ucara dan teks yang dapat didengar. Dirancang untuk individu yang kehilangan ucara akibat paralisis, ini menawarkan metode yang discreet dan bebas tangan untuk menyampaikan pesan, emosi, dan frasa sehari-hari.

Komponen Hardware

Speaker

Speaker 3 W, 4 Ω untuk output suara yang jelas.

Perangkat Android

Menjalankan aplikasi seluler React-Native.

Walabot

Sensor akustik yang menangkap energi napas dan mengklasifikasikannya sebagai napas pendek atau panjang.

Raspberry Pi 3 Model B

Menjalankan back-end Python dan server Flask.

Stack Perangkat Lunak

• Python 3 – untuk logika back-end dan integrasi Walabot.
• Flask – server web ringan pada Raspberry Pi.
• React-Native – antarmuka seluler lintas platform.

Bagaimana Cara Kerja

Deteksi Napas & Pengkodean Mirip Morse

Sensor Walabot mengukur energi setiap napas. Setelah kalibrasi singkat, energi napas dibandingkan dengan ambang untuk mengklasifikasikan napas sebagai pendek (titik) atau panjang (garis). Urutan napas diterjemahkan menjadi pola kode Morse (misalnya, “-.-.-”). Raspberry Pi mencocokkan pola ini dengan huruf dan frasa yang telah ditentukan.

Akronim yang Ditentukan

Untuk mengurangi upaya mengetik, akronim tiga huruf umum (misalnya, ABC, XYZ) memetakan langsung ke frasa lengkap. Ketika sistem mendeteksi akronim, aplikasi seluler menampilkan teks yang diperluas segera.

Arsitektur Server

Raspberry Pi menyelenggarakan server Flask pada IP statis. Ini menerima data yang berasal dari napas, menyimpan variabel “pesan” saat ini, dan mengekspos endpoint untuk aplikasi seluler untuk polling atau mengirim respons.

sudo nano /etc/dhcpcd.conf # Tambahkan di akhir berkas interface eth0 static ip_address=192.168.43.211 static routers=192.168.43.1 static domain_name_servers=192.168.43.1 interface wlan0 static ip_address=192.168.43.211 static routers=192.168.43.1 static domain_name_servers=192.168.43.1 # Simpan dengan Ctrl+O dan keluar dengan Ctrl+X sudo reboot

Aplikasi Seluler

Aplikasi React-Native terus-menerus polling endpoint Flask untuk pesan terbaru. Ketika string non-kosong diterima, itu menampilkan teks dan memutarnya dengan keras. Pengguna dapat membalas dengan mengetik di aplikasi, yang mem-posting teks kembali ke server. Server kemudian mengucapkan balasan melalui speaker, memungkinkan komunikasi dua arah.

Langkah Implementasi

1. Instal Python 3 pada Raspberry Pi.
2. Unduh Walabot SDK untuk OS Anda. Jelajahi contoh BreathingExample.py yang disediakan untuk memahami akuisisi data sensor.
3. Siapkan server Flask pada Raspberry Pi dan konfigurasikan IP statis seperti yang ditunjukkan di atas.
4. Bangun aplikasi React-Native, perbarui URL server agar cocok dengan IP Pi Anda.
5. Sambungkan Walabot ke Pi, speaker, dan perangkat Android melalui Wi-Fi.
6. Jalankan aplikasi, lakukan kalibrasi cepat, dan mulai berbicara melalui napas.

Pengujian

Jalankan back-end Python pada Raspberry Pi, pastikan IP statis dapat dijangkau, dan deploy APK pada perangkat Android Anda. Buka aplikasi, sesuaikan pola napas Anda, dan amati terjemahan waktu nyata dari napas ke teks.

Untuk contoh kode yang lebih detail dan tips debug, lihat dokumentasi repositori.

Bergabunglah dengan Komunitas

Kami mengundang pengembang, peneliti, dan profesional kesehatan untuk berkontribusi pada evolusi Speathe. Bersama-sama, kita dapat menciptakan alat komunikasi yang kuat dan dapat diakses untuk komunitas paralisis.

Kontak & Sumber Daya

• Dokumentasi API Walabot: https://walabot.com/api/_pythonapi.html
• Unduhan Python 3: https://www.python.org/downloads/
• React-Native: https://reactnative.dev/