Sistem Menggunakan Kamera Smartphone atau Komputer untuk Mengukur Kesehatan

Telehealth telah menjadi cara penting bagi dokter untuk tetap memberikan perawatan kesehatan sambil meminimalkan kontak langsung selama COVID-19. Namun dengan telepon atau janji temu online, lebih sulit bagi dokter untuk mendapatkan tanda-tanda vital penting dari pasien, seperti denyut nadi atau laju pernapasan, secara real time.

Sebuah metode menggunakan kamera pada smartphone atau komputer seseorang untuk mengambil sinyal nadi dan pernapasan mereka dari video real-time wajah mereka. Agar pembelajaran mesin dapat membantu dalam penginderaan kesehatan jarak jauh, sistem harus mengidentifikasi wilayah minat dalam video yang menyimpan sumber informasi fisiologis terkuat — seperti denyut nadi — dan kemudian mengukurnya dari waktu ke waktu. Karena setiap orang berbeda, sistem harus cepat beradaptasi dengan ciri fisiologis unik setiap orang dan memisahkannya dari variasi lain seperti penampilan mereka dan lingkungan tempat mereka berada.

Sistem tim menjaga privasi — ini berjalan di perangkat, bukan di cloud — dan menggunakan pembelajaran mesin untuk menangkap perubahan halus dalam cara cahaya memantulkan wajah seseorang, yang berkorelasi dengan perubahan aliran darah. Kemudian mengubah perubahan ini menjadi denyut nadi dan laju pernapasan.

Versi pertama dari sistem ini dilatih dengan kumpulan data yang berisi video wajah orang dan informasi "kebenaran dasar":denyut nadi dan laju pernapasan setiap orang yang diukur dengan instrumen standar di lapangan. Sistem kemudian menggunakan informasi spasial dan temporal dari video untuk menghitung kedua tanda vital. Ini mengungguli sistem pembelajaran mesin serupa pada video di mana subjek bergerak dan berbicara. Namun, meskipun sistem bekerja dengan baik pada beberapa set data, sistem tersebut masih kesulitan dengan set data lain yang berisi orang, latar belakang, dan pencahayaan yang berbeda — masalah umum yang dikenal sebagai “overfitting”.

Para peneliti meningkatkan sistem dengan membuatnya menghasilkan model pembelajaran mesin yang dipersonalisasi untuk setiap individu. Secara khusus, ini membantu mencari area penting dalam bingkai video yang kemungkinan berisi fitur fisiologis yang berkorelasi dengan perubahan aliran darah di wajah dalam konteks yang berbeda seperti warna kulit yang berbeda, kondisi pencahayaan, dan lingkungan. Dari sana, ia dapat fokus pada area itu dan mengukur denyut nadi dan laju pernapasan.

Sementara sistem baru ini mengungguli pendahulunya ketika diberikan kumpulan data yang lebih menantang, terutama bagi orang-orang dengan warna kulit lebih gelap, masih banyak pekerjaan yang harus dilakukan. Masih ada kecenderungan kinerja yang lebih rendah saat jenis kulit subjek lebih gelap, sebagian karena cahaya memantulkan secara berbeda dari kulit yang lebih gelap, sehingga sinyal yang diambil kamera lebih lemah.

Kemampuan apa pun untuk merasakan denyut nadi atau laju pernapasan dari jarak jauh memberikan peluang baru untuk perawatan pasien jarak jauh dan pengobatan jarak jauh. Ini dapat mencakup perawatan diri, perawatan lanjutan, atau triase, terutama jika seseorang tidak memiliki akses yang mudah ke klinik.