Mencapai pelacakan gerakan yang akurat di perangkat portabel konsumen

Hidup kita telah diubah oleh gadget portabel yang terhubung – terutama smartphone, tetapi juga banyak lainnya, seperti jam tangan pintar, pelacak kebugaran, dan perangkat yang dapat didengar. Perangkat ini menggabungkan pengumpulan data yang didukung dengan kekuatan pemrosesan dan konektivitas nirkabel.

Namun, di antara semua fitur lainnya, mudah untuk mengabaikan pentingnya sensor gerak dalam membuat gadget kita lebih fungsional dan intuitif. Baik itu mengubah orientasi layar di ponsel, menghitung langkah di jam tangan pintar, mencocokkan gerakan kepala dengan kacamata XR, atau mengetuk earbud untuk mengubah lagu, sensor gerakan adalah bagian penting dari pengalaman dan antarmuka pengguna.

Untuk insinyur tertanam, memilih dan mengintegrasikan sensor gerak bisa jadi rumit. Bagaimana Anda dapat memastikan bahwa Anda memilih teknologi yang tepat untuk mendapatkan akurasi yang Anda butuhkan, tanpa meningkatkan biaya atau konsumsi daya yang tidak perlu? Dan bagaimana cara memastikan Anda mendapatkan hasil maksimal dari sensor, dan tidak melewatkan performa atau fitur yang dapat meningkatkan produk akhir Anda?

Dasar-dasar sensor gerak

Pertama, rekap cepat tentang apa yang kami maksud dengan sensor gerak. Ada tiga jenis yang biasa digunakan:akselerometer, giroskop, dan magnetometer.

Akselerometer mengukur akselerasi, yang dapat mencakup akselerasi karena gravitasi. Ini berarti dapat merasakan arah gravitasi relatif terhadap sensor – pada dasarnya, arah mana yang naik. Giroskop mengukur perubahan posisi sudut dengan mengukur kecepatan sudut.

Dengan tiga derajat kebebasan, atau sumbu, untuk masing-masing akselerometer dan giroskop, menggabungkan keduanya memberi kita sensor gerak 6 sumbu, atau unit pengukuran inersia (IMU) (lihat Gambar 1). Untuk banyak aplikasi, kita perlu menambahkan magnetometer, yang mengukur kekuatan dan arah medan magnet bumi, sehingga kita dapat memperkirakan arah kita. Menambahkan magnetometer 3-sumbu di atas akselerometer dan giroskop menciptakan IMU 9-sumbu.

Untuk keperluan posting ini, kita akan membahas IMU. Meskipun ada properti tertentu yang kami diskusikan yang dapat diterapkan pada akselerometer, giroskop, atau magnetometer sendiri, tantangan dalam menggabungkan setidaknya dua dari sensor ini adalah yang ingin kami jelaskan.

Gambar 1:Sensor gerak dengan IMU (Sumber:CEVA)

Menjaganya tetap akurat

Jadi sekarang kita telah mengingatkan diri kita sendiri tentang teori, bagaimana cara kerjanya dalam praktik? Bagaimana kita bisa mendapatkan akurasi yang kita butuhkan?

Untuk IMU, akurasi yang dicapai dalam menentukan heading perangkat kami adalah metrik dasar yang dapat kami mulai. Persyaratan kami mungkin dalam satu atau dua derajat, sementara akurasi yang lebih rendah dapat diterima untuk aplikasi lain. Misalnya, persyaratan akurasi headset XR akan jauh lebih ketat daripada mainan robot anak-anak. Kami kemudian harus mempertimbangkan stabilitas data ini, dan apakah data tersebut akan bervariasi dari waktu ke waktu, dan dengan suhu.

Mendapatkan output akurasi tertinggi dari IMU kami memerlukan penggunaan sensor fusion, yang merupakan konsep menggabungkan data dari beberapa sensor untuk membuat jumlah yang lebih besar daripada bagian-bagiannya. Setiap sensor IMU kami memiliki kekuatan dan kelemahan berbeda yang dapat menyatu bersama-sama untuk solusi itu.

Salah satu cara untuk memikirkan fusi sensor adalah dengan mendasarkannya pada 'kepercayaan'. Dalam hal ini, kita dapat menggunakan 'kepercayaan' yang berarti bahwa data dari sensor tertentu memiliki tingkat kepercayaan yang wajar untuk akurasi dan relevansinya. Katakanlah Anda adalah Presiden suatu negara dan harus menentukan kebijakan. Anda memiliki penasihat ekonomi, kesehatan, dan militer. Masing-masing memberi Anda masukan, tetapi mereka semua tahu area yang berbeda. Mereka memiliki tebakan tentang bagaimana pendapat mereka akan mempengaruhi rekan-rekan mereka, tetapi sayangnya mereka hanya menebak. Terserah Anda untuk memproses dan menggabungkan informasi mereka menjadi keputusan terbaik.

Demikian pula, Anda memiliki dua atau tiga 'penasihat' yang dapat Anda hubungi untuk mendapatkan data orientasi dari IMU Anda:akselerometer, giroskop, dan terkadang magnetometer. Giroskop adalah yang paling mudah untuk dijelaskan. Giroskop tingkat konsumen dapat dipercaya untuk perubahan orientasi relatif selama periode waktu singkat beberapa detik, tetapi output akan melayang selama interval waktu yang lebih lama, puluhan detik plus. Akselerometer sangat membantu untuk mengukur gravitasi dalam jangka panjang, tetapi dapat dikacaukan dengan skenario tertentu, seperti akselerasi konstan di dalam mobil. Kita dapat mempercayai magnetometer di lingkungan magnet yang stabil, seperti di pedesaan atau hutan, tetapi kurang begitu jika ada gangguan magnetik, misalnya di dalam kantor yang dibangun dengan pilar baja.

Singkatnya, giroskop akurat untuk pengukuran jangka pendek, dan akselerometer dan magnetometer untuk pengukuran jangka panjang. Dengan pemahaman yang cermat tentang keterbatasannya, datanya dapat digabungkan untuk mendapatkan gambaran orientasi perangkat yang lebih akurat.

Ketika kami memiliki beberapa keluaran sensor, seperti IMU 9-sumbu, fusi sensor memberi kami kesempatan untuk menggabungkan dan membandingkan data untuk meningkatkan akurasi. Misalnya, jika perangkat lunak fusi sensor kami menyertakan algoritme untuk mendeteksi perubahan tak terduga atau mendadak pada output magnetometer karena gangguan magnetik, perangkat tersebut dapat secara otomatis lebih percaya pada data akselerometer dan giroskop, hingga magnetometer stabil kembali.

Kecepatan sampel juga penting untuk akurasi – apakah sensor pilihan Anda cukup sering menyediakan data untuk memenuhi kebutuhan Anda? Ini tentu saja bergantung pada aplikasi:misalnya, beberapa pembacaan per detik mungkin cukup untuk penghitung langkah dasar, tetapi 100Hz hingga 400Hz direkomendasikan untuk sebagian besar aplikasi. Namun, kecepatan sampel 1kHz atau lebih tinggi mungkin diperlukan untuk pelacakan kepala yang tepat dalam aplikasi XR (XR adalah istilah umum untuk Virtual, Campuran, dan Augmented Reality). Kecepatan sampel yang cepat juga penting untuk mencapai latensi rendah, yang dalam contoh pelacakan kepala kami adalah perbedaan antara pengalaman VR yang imersif dan perasaan mabuk perjalanan!

Kita juga perlu mempertimbangkan kalibrasi. Banyak sensor disediakan 'sebagaimana adanya' dengan sedikit lebih dari apa yang tertulis di lembar data untuk Anda pertimbangkan. Segala jenis kalibrasi yang dapat dilakukan akan membantu memaksimalkan kinerja yang konsisten antara berbagai sensor individu. Kalibrasi pabrik dapat menjadi cara yang ampuh untuk meningkatkan kinerja individu tetapi relatif mahal. Kalibrasi dinamis di lapangan adalah opsi lain yang memerlukan pemahaman mendetail tentang sensor itu sendiri, atau setidaknya aplikasi Anda. Sensor mengalami bias yang, jika tidak diperhitungkan, dapat berdampak negatif pada output keseluruhan hingga ke titik yang memperburuk kesalahan yang ada.

Terakhir, kita perlu memikirkan cara memverifikasi data sensor yang telah kita peroleh dan gabungkan bersama. Meskipun ini bergantung pada apa yang kami lacak, prinsip dasarnya adalah menggunakan sumber informasi independen lain untuk memberi kami kebenaran yang dapat kami periksa dengan keluaran kami. Misalnya, lengan robot dapat dipindahkan berulang kali dengan sangat tepat ke titik yang diketahui, dan kemudian kita dapat melihat apakah sensor memberi kita data posisi yang sama. Saat kami mendeteksi kesalahan, kemungkinan untuk mengkompensasinya dengan perhitungan, atau mungkin perlu ditandai sebagai kesalahan yang perlu perhatian lebih lanjut.

Mengaktifkan fitur baru

Setelah kami memiliki kemampuan untuk mengukur gerakan dengan akurasi tinggi, itu tidak hanya membantu dengan aplikasi yang ada – itu dapat membuka kemungkinan untuk kemampuan baru di perangkat portabel. Misalnya, dengan perangkat yang dapat didengar (Gambar 2), antarmuka pengguna konvensional bermasalah:pengguna tidak ingin berkomitmen untuk mengeluarkan ponsel mereka untuk mengontrolnya, dan perangkat yang dapat didengar itu sendiri terlalu kecil untuk memiliki tombol yang nyaman. Sebagai gantinya, ketukan pada perangkat yang dapat didengar dapat digunakan untuk melewatkan lagu, dan mendeteksi gerakan mengeluarkannya dari telinga Anda dapat digunakan untuk membisukan semua audio – karena ini mungkin terjadi saat Anda ingin suara tetap berhenti. Penggunaan gerakan dan 'pengklasifikasi', yang merupakan algoritme untuk mengidentifikasi gerakan yang berbeda, menghasilkan pengalaman pengguna yang lebih nyaman dan intuitif.

Gambar 2:Hearables (Sumber:CEVA)

Informasi akurat dari sensor gerak juga dapat berarti bahwa perangkat portabel Anda memiliki lebih banyak gagasan tentang apa yang terjadi di sekitar Anda, atau aktivitas apa yang Anda lakukan. Ini dikenal sebagai kesadaran konteks, dan dapat digunakan untuk memberikan pengalaman yang lebih mendalam, seperti seperti mengurangi volume musik Anda saat perangkat yang dapat didengar mendeteksi Anda telah berjalan ke penyeberangan pejalan kaki agar Anda dapat mendengar sirene dari ambulans terdekat.

Untuk aplikasi pelacakan kebugaran, peningkatan presisi dapat membedakan antara aktivitas pengguna yang berbeda. Misalnya, jika pelacak langkah Anda dapat mengukur ukuran, kecepatan, atau karakteristik lain dari gerakan Anda, itu bisa berhasil jika Anda hanya berjalan normal, atau mungkin menaiki atau menuruni tangga. Dikombinasikan dengan data sensor lainnya, seperti tekanan udara dan lokasi yang diturunkan dari GPS, perangkat lunak dapat membuat gambaran mendetail tentang gerakan Anda dan memperkirakan kalori yang terbakar.

Menggabungkannya:perpaduan sensor dan perangkat lunak

Seperti yang telah kita diskusikan, untuk memaksimalkan akurasi dan kegunaan data gerak, tidak cukup hanya menghasilkan umpan data mentah. Perangkat perlu memproses data, mengkompensasi ketidakakuratan sistematis, serta menggabungkan informasi dari beberapa sensor.

Ada banyak hal yang harus diatasi di sini. Penggabungan sensor adalah rumit, dan membutuhkan pengetahuan tertentu untuk mencapai hasil terbaik dalam paket kecil. Namun, ada berbagai produk yang tersedia yang mengintegrasikan sensor dan pemrosesan yang diperlukan – misalnya BNO080/085, yang dikembangkan oleh kemitraan antara Bosch dan CEVA Hillcrest Labs, termasuk akselerometer, magnetometer, dan giroskop berkinerja tinggi, serta akselerometer berkinerja tinggi, magnetometer, dan giroskop. -daya 32-bit ARM Cortex M0+ MCU.

Perangkat lunak hub sensor MotionEngine™ Hillcrest Labs, yang telah diprogram sebelumnya pada BNO085, menyediakan pelacakan gerakan 6-sumbu dan 9-sumbu, serta fitur cerdas seperti mengklasifikasikan aktivitas pengguna seperti berjalan, berlari, dan berdiri (Gambar 3). Hub sensor MotionEngine kompatibel dengan arsitektur pemrosesan tertanam dan sistem operasi terkemuka, dengan versi khusus yang tersedia untuk perangkat yang dapat didengar, TV pintar, robotika, komputasi seluler, kendali jarak jauh, aplikasi seluler berdaya rendah, dan banyak lagi.

klik untuk gambar ukuran penuh

Gambar 3:Penggabungan Sensor &Algoritma Komprehensif (Sumber:CEVA)

Mengumpulkan semua data ini bersama-sama, secara real time, dapat menjadi tantangan, dan membutuhkan kinerja pemrosesan yang tidak sepele. Mungkin yang terbaik adalah memilih sensor terintegrasi yang menjalankan beberapa algoritme ini pada inti MCU di perangkat sensor itu sendiri, daripada memerlukan prosesor aplikasi utama untuk melakukan tugas ini. Khususnya, untuk tugas 'selalu aktif' seperti penghitungan langkah, jika kita dapat menghindari membangunkan prosesor utama setiap kali ada gerakan yang terdeteksi, prosesor dapat tetap berada dalam mode tidur – sehingga mengurangi konsumsi daya secara keseluruhan, dan meningkatkan masa pakai baterai. Kembali ke analogi kita sebelumnya, SiP yang berfokus pada sensor fusion seperti memiliki Wakil Presiden yang menangani keputusan tertentu sehingga Presiden, prosesor utama, dapat fokus pada tugas yang lebih cepat.

Kesimpulan

Sensor gerak memainkan peran penting dalam banyak aplikasi, tetapi tidak selalu jelas bagaimana memilih perangkat yang tepat, dan bagaimana mencapai tingkat akurasi yang dibutuhkan untuk aplikasi Anda – atau bahkan seberapa akurat yang Anda butuhkan. Kasus penggunaan yang berbeda memerlukan tingkat presisi yang berbeda, dan memiliki persyaratan yang berbeda untuk jenis data yang dibutuhkan.

Sensor terintegrasi dan fusi sensor seringkali dapat memberikan solusi untuk masalah ini. Dengan bekerja sama dengan vendor yang sesuai, Anda dapat memastikan bahwa Anda tidak berkompromi dalam memperoleh data yang akurat dan andal, serta fitur nilai tambah untuk aplikasi tertentu – sambil menjaga biaya dan konsumsi daya seminimal mungkin.