DeepLabCut:AI Open Source Untuk Melacak Bagian Tubuh Spesies Bergerak
- Algoritme baru berbasis deep learning melacak dan melabeli bagian tubuh spesies yang bergerak menggunakan data pelatihan minimal.
- Ini tidak memerlukan model bodi komputasi, data waktu, dan stick-figure apa pun.
Untuk memahami otak spesies apa pun, penting untuk mengukur perilaku mereka secara akurat. Pelacakan video adalah salah satu opsi terbaik untuk mengamati dan merekam perilaku hewan dalam berbagai konfigurasi. Ini sangat menyederhanakan analisis dan memungkinkan penelusuran bagian tubuh dengan akurasi tinggi.
Namun, mengekstrak aspek tertentu dari suatu perilaku untuk penyelidikan terperinci bisa menjadi proses yang membosankan dan memakan waktu. Pelacakan berbasis komputer yang ada menggunakan penandaan reflektif (bagian tubuh disorot dengan penanda), di mana posisi dan jumlah penanda harus ditentukan sebelum perekaman.
Sekarang, para peneliti di Universitas Harvard dan Universitas Tübingen telah mengembangkan alat AI bernama DeepLabCut yang secara otomatis melacak dan memberi label pada bagian tubuh spesies yang bergerak. Teknik estimasi pose tanpa penanda ini didasarkan pada metode pembelajaran mendalam yang memberikan hasil yang layak dengan data pelatihan minimal.
Apa yang Tepat Mereka Lakukan?
Para peneliti memeriksa arsitektur detektor fitur dari model estimasi pose multi-orang yang baru-baru ini dikembangkan, DeeperCut. Mereka menunjukkan bahwa sejumlah kecil foto pelatihan (sekitar 200) sudah cukup untuk melatih jaringan saraf ini untuk mencapai akurasi seperti manusia.
Hal ini dimungkinkan dengan transfer learning, metode pembelajaran mesin di mana model yang dilatih pada satu tugas diterapkan ke tugas terkait lainnya. Dalam penelitian ini, pendeteksi fitur yang didasarkan pada jaringan saraf yang dalam secara intensif telah dilatih sebelumnya pada kumpulan data raksasa (ImageNet) untuk mengenali objek.
Oleh karena itu, seseorang dapat melatih pendeteksi fitur tangguh ini dengan memberi label pada lebih sedikit bingkai (beberapa ratus). Setelah dilatih, ia dapat melokalisasi berbagai bagian tubuh yang relevan secara eksperimental.
Para peneliti mendemonstrasikan kemampuan DeepLabCut dengan melacak telinga, moncong, dan pangkal ekor selama tugas navigasi yang dipandu oleh bau. Mereka juga melacak beberapa bagian lalat buah di ruang 3D.
Jaringan saraf dilatih pada GPU NVIDIA Titan Xp dan GeForce GTX 1080 Ti dengan TensorFlow yang dipercepat oleh kerangka pembelajaran mendalam CUDA. Dengan menggunakan perangkat keras yang canggih, seseorang dapat memproses 682*540 bingkai berukuran 30 fps.
Alat ini mampu memberikan umpan balik waktu nyata berdasarkan perkiraan postur yang diambil dari videografi. Selain itu, seseorang dapat memotong bingkai input dengan cara adaptif di sekitar spesies untuk lebih meningkatkan kecepatan pemrosesan, atau mengadaptasi arsitektur jaringan untuk meningkatkan waktu pemrosesan.
Referensi: arXiv:1804.03142 | GitHub
Secara keseluruhan, DeepLabCut bekerja dalam empat tahap:
- Ekstrak beberapa bingkai dari video untuk pelabelan
- Menggunakan label untuk menghasilkan data pelatihan
- Latih jaringan saraf sesuai rangkaian fitur yang diperlukan
- Ekstrak posisi fitur ini dari data yang tidak berlabel.
Hormat peneliti
Bagaimana Ini Bermanfaat?
Metode yang dijelaskan di atas tidak memerlukan model tubuh komputasi, data waktu, gambar tongkat, atau algoritma inferensi yang rumit. Ini dapat diterapkan dengan cepat ke berbagai perilaku yang menimbulkan tantangan yang berbeda secara kualitatif terhadap visi komputer.
Meskipun para peneliti mendemonstrasikan DeepLabCut pada Drosophila, tikus, dan kuda, tentu saja tidak ada batasan pada metode ini, dan metode ini juga dapat diterapkan pada spesies lain.
Baca:AI Pemfilteran Spam Mempelajari Perilaku Hewan28
Melacak hewan melalui videografi dapat mengungkap wawasan baru tentang biomekanik mereka dan membantu kami memahami bagaimana fungsi otak mereka. Pada manusia, ini dapat meningkatkan teknik yang digunakan dalam terapi fisik dan membantu atlet mencapai pencapaian yang sebelumnya tidak mungkin dilakukan.
