DeepLabCut: AI Open-Source untuk Pelacakan Bagian Tubuh Hewan Bergerak dengan Akurat
- Algoritma deep learning baru melacak dan melabeli bagian tubuh spesies yang bergerak menggunakan data pelatihan minimal.
- Teknik ini tidak memerlukan model tubuh komputasional, data waktu, dan stick-figure.
Untuk memahami otak setiap spesies, diperlukan untuk mengukur perilaku mereka secara akurat. Pelacakan video adalah salah satu opsi terbaik untuk mengamati dan mencatat perilaku hewan dalam berbagai konfigurasi. Ini sangat menyederhanakan analisis dan memungkinkan penelusuran bagian tubuh dengan akurasi tinggi.
Namun, mengekstrak aspek tertentu dari perilaku untuk penyelidikan yang lebih rinci bisa menjadi proses yang melelahkan dan memakan waktu. Pelacakan berbasis komputer yang ada menggunakan markah reflektif (bagian tubuh dihighlight dengan markah), di mana posisi dan jumlah markah harus ditentukan sebelum perekaman.
Sekarang, peneliti dari Universitas Harvard dan Universitas Tübingen telah mengembangkan alat AI bernama DeepLabCut yang secara otomatis melacak dan melabeli bagian tubuh spesies yang bergerak. Teknik estimasi pose tanpa markah ini didasarkan pada metode deep learning yang memberikan hasil yang baik dengan data pelatihan minimal.
Apa yang Telah Dilakukan?
Peneliti memeriksa arsitektur detektor fitur dari model estimasi pose multi-orang yang baru dikembangkan, DeeperCut. Mereka menunjukkan bahwa sejumlah kecil foto pelatihan (sekitar 200) sudah cukup untuk melatih jaringan saraf ini untuk mencapai akurasi seperti manusia.
Ini telah dimungkinkan oleh transfer learning, suatu metode machine learning di mana model yang dilatih pada satu tugas diterapkan pada tugas terkait lainnya. Dalam penelitian ini, detektor fitur yang didasarkan pada jaringan saraf mendalam yang intensif telah dilatih sebelumnya pada dataset raksasa (ImageNet) untuk mengenali objek.
Oleh karena itu, seseorang dapat melatih detektor fitur yang kuat ini dengan melabeli kurang banyak frame (beberapa ratus). Setelah dilatih, ia dapat melokalkan berbagai bagian tubuh yang relevan secara eksperimental.
Peneliti menunjukkan kemampuan DeepLabCut dengan melacak telinga, hidung, dan dasar ekor selama tugas navigasi yang dipandu oleh bau. Mereka juga melacak beberapa bagian dari lalalat buah dalam kamar 3D.
Jaringan saraf dilatih pada GPU NVIDIA Titan Xp dan GeForce GTX 1080 Ti dengan TensorFlow yang dipercepat oleh framework deep learning CUDA. Dengan menggunakan perangkat keras yang kuat ini, seseorang dapat memproses frame berukuran 682*540 pada 30 fps.
Alat ini mampu memberikan umpan balik real-time berdasarkan estimasi postura yang diekstrak dari videografi. Selain itu, seseorang dapat memotong frame input dengan cara adaptif di sekitar spesies untuk meningkatkan kecepatan pemrosesan lebih lanjut, atau menyesuaikan arsitektur jaringan saraf untuk meningkatkan waktu pemrosesan.
Referensi: arXiv:1804.03142 | GitHub
Secara keseluruhan, DeepLabCut bekerja dalam empat tahap:
- Ekstrak beberapa frame dari video untuk pelabelan
- Gunakan label untuk menghasilkan data pelatihan
- Latih jaringan saraf sesuai dengan set fitur yang diperlukan
- Ekstrak posisi fitur ini dari data yang tidak dilabeli.
Kredit kepada para peneliti
Bagaimana Ini Berguna?
Metode yang dijelaskan di atas tidak memerlukan model tubuh komputasional, data waktu, stick figure, atau algoritma inferensi yang rumit. Ini dapat dengan cepat diterapkan ke berbagai perilaku yang mempresentasikan tantangan yang kualitatif berbeda bagi visi komputer.
Meskipun peneliti menunjukkan DeepLabCut pada lalalat buah, tikus, dan kuda, pasti tidak ada keterbatasan pada metode ini, dan dapat diterapkan pada spesies lain juga.
Baca: AI Penapis Spam Mempelajari Perilaku Seekor Hewan
Melacak hewan melalui videografi dapat mengungkap wawasan baru tentang biomekanika mereka dan membantu kita memahami bagaimana otak mereka berfungsi. Dalam manusia, ini dapat meningkatkan teknik yang digunakan dalam fisioterapi dan membantu atlet mencapai tonggak yang tidak mungkin di masa lalu.
