Pemantauan Kesehatan Real-Time dengan Kamera Smartphone dan Komputer
Telehealth telah menjadi cara kritis bagi dokter untuk tetap memberikan perawatan kesehatan sambil meminimalkan kontak langsung selama COVID-19. Tetapi dengan janji telepon atau online, lebih sulit bagi dokter untuk mendapatkan tanda vital penting dari pasien, seperti denyut nadi atau frekensi napas, secara real-time.
Sebuah metode menggunakan kamera pada smartphone atau komputer seseorang untuk mengambil denyut nadi dan sinyal napas dari video wajah secara real-time. Untuk machine learning untuk membantu dalam penginderaan kesehatan jarak jauh, sistem harus mengidentifikasi area minat dalam video yang menyimpan sumber informasi fisiologis yang paling kuat — seperti denyut nadi — dan kemudian mengukurnya seiring waktu. Karena setiap orang berbeda, sistem harus dengan cepat menyesuaikan diri dengan tanda fisiologis unik setiap orang dan memisahkan ini dari variasi lain seperti tampilan mereka dan lingkungan tempat mereka berada.
Sistem tim ini menjaga privasi — berjalan di perangkat alih-alih di cloud — dan menggunakan machine learning untuk menangkap perubahan halus dalam cara cahaya memantul dari wajah seseorang, yang berkorelasi dengan aliran darah yang berubah. Kemudian mengubah perubahan ini menjadi denyut nadi dan frekensi napas.
Versi pertama sistem ini dilatih dengan dataset yang berisi video warga dan informasi “ground truth”: denyut nadi dan frekensi napas setiap orang yang diukur dengan instrumen standar di lapangan. Sistem kemudian menggunakan informasi spasial dan temporal dari video untuk menghitung kedua tanda vital. Ini mengalahkan sistem machine learning yang serupa pada video di mana subjek bergerak dan bicara. Tetapi meski sistem bekerja baik pada beberapa dataset, itu masih kesulitan dengan yang lain yang berisi orang, latar belakang, dan pencahayaan yang berbeda — masalah umum yang dikenal sebagai “overfitting.”
Peneliti meningkatkan sistem dengan membuatnya menghasilkan model machine learning yang dipersonalisasi untuk setiap individu. Secara spesifik, itu membantu mencari area penting dalam frame video yang kemungkinan berisi fitur fisiologis yang berkorelasi dengan aliran darah yang berubah di wajah di bawah konteks yang berbeda seperti warna kulit yang berbeda, kondisi pencahayaan, dan lingkungan. Dari sana, itu dapat fokus pada area tersebut dan mengukur denyut nadi dan frekensi napas.
Sementara sistem baru ini mengalahkan pendahulunya ketika diberikan dataset yang lebih menantang, terutama untuk orang dengan warna kulit yang lebih gelap, masih ada lebih banyak pekerjaan yang harus dilakukan. Masih ada tren terhadap performa yang lebih rendah ketika jenis kulit subjek lebih gelap, sebagian karena cahaya memantul secara berbeda dari kulit yang lebih gelap, menghasilkan sinyal yang lebih lemah untuk ditangkap kamera.
Setiap kemampuan untuk merasakan denyut nadi atau frekensi napas secara jarak jauh memberikan peluang baru untuk perawatan pasien jarak jauh dan telemedicine. Ini bisa termasuk perawatan mandiri, perawatan lanjutan, atau triase, terutama ketika seseorang tidak memiliki akses yang nyaman ke klinik.
