Aya

Aya adalah robot interaktif yang menyimpan gambar Anda untuk dikenali dan berinteraksi dengan Anda. Pemenang Hack the North 2017 &Penggunaan Terbaik AWS.

Cerita

Inspirasi

Ketika kami melihat apa yang dilakukan Amazon dengan Alexa dan apa yang dilakukan Google dengan rumah, kami yakin bahwa usia asisten pribadi yang terkomputerisasi telah tiba. Namun, kami bertanya-tanya bagaimana membuatnya lebih manusiawi – Aya adalah bukti konsep asisten pribadi robot yang terlihat dan terasa seperti manusia.

Apa fungsinya

Aya adalah robot interaktif yang menyimpan gambar Anda untuk mengenali Anda dan memberi tahu Anda objek apa yang Anda pegang.

Bagaimana kami membangunnya

Aya adalah mimpi buruk sistem tertanam! Antarmuka sistem servo dengan codec audio yang dijalankan pada utas berbeda untuk multiprosesor.

Kami mencetak 3D bagian fisik (milik InMoov®, robot open source) dalam proses yang berlangsung selama 26 jam. Itu dibangun dan dirakit di Hack the North 2017.

Aya menggunakan AWS Rekognition untuk membandingkan geometri wajah guna mengenali orang yang telah dia temui, dan untuk bertemu manusia baru. Kami memilih objek kepercayaan tertinggi yang bukan manusia, dan menjalankannya melalui Amazon Polly, yang menghasilkan file an.ogg. Sementara semua ini terjadi, utas lain dengan kontrol servo khusus berjalan secara paralel untuk membuat rahang bergerak dengan ucapan.

Tantangan yang kami hadapi

Peretasan perangkat keras itu sulit! Kami mengalami ribuan masalah, tidak terbatas pada:kabel yang meleleh, papan tempat memotong roti yang terbakar, servo yang terlalu panas, dan tentu saja toleransi suku cadang!

Aspek lain yang sulit dari proyek ini adalah kontrol servo – ini memerlukan memulai utas lain dan menjalankan kontrol servo bersamaan dengan ucapan.

Dari segi perangkat lunak, karena Amazon Rekognition hanya mengeluarkan larik label dan tingkat kepercayaannya, seringkali sulit untuk memilih label yang paling relevan untuk sebuah gambar. Kami mencoba menyelesaikannya dengan menggunakan k -berarti pengelompokan untuk menghasilkan kelompok kata yang mirip dan kemudian menghasilkan kalimat untuk setiap kelompok. Namun, karena perangkat keras menghabiskan banyak waktu kami, sayangnya kami tidak memiliki waktu untuk mengimplementasikannya sepenuhnya.

Akhirnya, melakukan semua ini di bawah anggaran 36 jam (tidak termasuk tidur!) adalah tantangan terbesar, tetapi memaksa kami untuk menyesuaikan diri dengan jadwal dan membuat proyek kami lincah.

Prestasi yang kami banggakan

Kami bangga dapat menyatukan sistem servo dan perangkat lunak. Yang terpenting, kami bangga telah bekerja sama dengan sangat baik sebagai sebuah tim, dengan sedikit gesekan dan hasil yang luar biasa.

Apa selanjutnya untuk Aya

Kami ingin bekerja menggunakan TensorFlow untuk mengelompokkan output AWS Rekognition, dan pyAudioAnalysis untuk menerapkan teknik analisis bentuk gelombang ke file audio yang dihasilkan untuk menyinkronkan suara dengan aktuasi servo dengan lebih baik.

Baca Informasi Selengkapnya…

Aya