Speathe

Berbicara Melalui Pernapasan:Sistem komunikasi cerdas untuk orang lumpuh .

Hal-hal yang digunakan dalam proyek ini

Komponen perangkat keras

Pembicara:3W, 4 ohm

Perangkat Android

Walabot

Raspberry Pi 3 Model B

Aplikasi perangkat lunak dan layanan online

Python

reaksi asli

Cerita

Speathe:Metode komunikasi yang inovatif dan berkembang untuk para lumpuh yang tidak dapat berkata-kata setelah lumpuh. Bahkan jika ada metode untuk si lumpuh, Speathe memberikan bantuan dengan mengubah napas seseorang menjadi suara pendengaran dan teks yang dapat ditransfer. Saya berharap akan ada evolusi besar dari kode ini dan saya meminta semua penggemar untuk mengerjakan ini agar ini menjadi komunikasi yang efektif untuk sesama kita yang lumpuh.

Komponen Perangkat Keras

Komponen speathe

Walabot akan mendengarkan nafas dan mengklasifikasikannya menjadi nafas pendek dan panjang. Raspberry akan menetapkan titik dan garis untuk napas pendek dan panjang masing-masing dan menambahkannya untuk membentuk alfabet. Ada kumpulan akronim 3 huruf yang memiliki arti yang telah ditentukan untuk menyederhanakan komunikasi. Raspberry akan menentukan kata speathe oleh pengguna dan memberikan nilai untuk variabel dan memposting data ke server yang berjalan dengan python. Aplikasi seluler dikembangkan menggunakan react-native yang mengirimkan permintaan berkelanjutan ke server untuk mencari nilai variabel. Setiap kali nilai bukan nol diterima, aplikasi seluler menampilkannya. Kami juga menyediakan ekstensi bagi orang untuk membalas kembali ke lumpuh dengan memposting teks yang diketik oleh pengguna kembali ke server dan mengucapkannya dengan keras kepada yang lumpuh.

Pengembangan Perangkat Lunak

1. Menyiapkan Walabot SDK dan Pemrograman menggunakan Python

Jika Anda belum menginstal Python IDE, Python3 tersedia di : https://www.python.org/downloads/

Setelah selesai, Anda dapat mengunduh Walabot SDK untuk OS Anda. Informasi mendetail tentang Walabot Python API tersedia di : https://walabot.com/api/_pythonapi.html

Setelah Anda menginstal file the.deb, Anda dapat menemukan berbagai contoh program yang ditulis untuk C++ dan Python di direktori sumber. Contoh program juga tersedia di situs web Walbot API. Untuk proyek ini, saya akan merekomendasikan melalui program python BreathingExample.

2. Deteksi nafas dan pencocokan huruf

Kemampuan walabot untuk menentukan energi pernapasan digunakan untuk menentukan napas panjang dan pendek. Kami akan mengambil 10-15 putaran berturut-turut dan jika di dalamnya energinya jauh lebih tinggi dari nilai ambang batas maka itu ditetapkan sebagai nafas panjang dan jika energi lebih rendah dari ambang batas itu adalah nafas pendek. Dalam hal ini untuk satu kali kalibrasi mungkin diperlukan untuk setiap orang.

Setelah mendeteksi napas panjang dan napas pendek, napas berturut-turut dan diatur dalam array dengan '-' untuk napas panjang dan '.' untuk napas pendek yang dapat membentuk kode Morse seperti ['-.-.-' ]. Pola kode Morse tertentu dan telah ditentukan sebelumnya untuk huruf dan jika nafas cocok dengannya, huruf itu diucapkan.

3. Huruf, Kata, Kalimat, Perasaan

Kami di versi pertama Speathe, telah mengembangkan tiga huruf akronim untuk frasa umum yang digunakan dalam kehidupan sehari-hari, sehingga orang lumpuh tidak akan terlalu banyak berbicara. Jika ditemukan kecocokan akronim tiga huruf, nilai variabel yang diambil oleh aplikasi seluler diganti dengan frasa yang sesuai. Dengan demikian komunikasi yang efektif dimungkinkan bagi mereka yang lumpuh total.

4. Server

Server berjalan pada raspberry pi dan sepenuhnya dikendalikan oleh python. Modul Flask digunakan untuk menjalankan server di Raspberry Pi 3. IP statis diatur pada Raspberry Pi dan server dimulai pada beberapa port (misalnya 80).

Cara menyetel Statis IP

1. Ketik sudo nano /etc/dhcpcd.conf pada prompt perintah.

2. Gulir ke bagian bawah skrip, dan tambahkan baris berikut:

antarmuka eth0
alamat ip statis=192.168.43.211
router statis=192.168.43.1
domain_nama_server statis=192.168.43.1
antarmuka wlan0
alamat ip statis=192.168.43.211
router statis=192.168.43.1
domain_name_servers statis=192.168.43.1

3. Simpan file dengan ctrl + o lalu keluar dari nano dengan ctrl + x.

4. Mulai ulang dengan sudo reboot.

5. Aplikasi Seluler

Aplikasi seluler dikembangkan dalam reaksi asli. React-native request untuk nilai pada port server yang sama. Ketika sebuah nilai ditemukan, itu ditampilkan di Antarmuka Pengguna. Dan jika pengguna ingin mengembalikan sesuatu, react-native memposting data ke beberapa variabel di server dan kode python memeriksa nilai variabel itu akan mengucapkannya lebih keras sehingga lumpuh dan mendengar dan membuat balasan, jika diperlukan.

Aplikasi Seluler mencari klienAplikasi Seluler menerima pesan 'Apple' dari ParalyzedMessage kembali ke server

5. Pengujian

Jalankan file python di Raspberry Pi dan Tetapkan alamat IP statis untuk Raspberry Pi Anda. Ubah alamat IP dan alamat port dalam kode JavaScript dan render apk. Dalam kasus saya, saya telah menetapkan alamat IP ke 192.168.43.211 dan apk debug diberikan di repositori. Setelah apk dihasilkan, hubungkan Raspberry Pi ke perangkat android melalui Wi-Fi dan hubungkan walabot ke Raspberry Pi. Cukup buka aplikasi dan mulai Spearing.

Baca Info Selengkapnya….

Ucapkan