AI Baru Dapat Mengubah Gambar Diam Menjadi Animasi 3D
- Metode pembelajaran mendalam baru menggunakan jaringan saraf convolutional untuk menganimasikan karakter dalam 3D dari satu gambar diam.
- Dapat membuat karakter dalam gambar berjalan keluar, duduk, berlari, atau melompat dalam 3D.
- Seluruh animasi dapat dilihat secara interaktif di monitor dan perangkat VR/AR.
Dalam beberapa tahun terakhir, animasi umum dari video telah menghasilkan banyak efek kreatif. Menganimasikan dari satu gambar, alih-alih video atau rangkaian foto, juga menghasilkan efek yang menarik.
Model Skinned Multi-Person Linear (SMPL) dan kerangka kerja pembelajaran mendalam telah terbukti sangat berguna untuk estimasi pose dan bentuk 3D dari satu gambar. Sejauh ini, sebagian besar teknik animasi satu gambar orang berfokus pada animasi 2D atau pseudo-3D.
Baru-baru ini, tim peneliti di University of Washington dan Facebook mengembangkan teknik baru yang dapat mengubah lukisan dan gambar diam menjadi animasi 3D. Metode pembelajaran mendalam bernama “Photo Wake-Up” ini menggunakan jaringan saraf convolutional (CNN) untuk menganimasikan karakter dalam 3D dari satu gambar diam.
Menghidupkan Karakter Latar Depan
Tidak seperti cinemagraph yang menggunakan gambar diam yang bergerak dalam urutan tertentu untuk membuat video, sistem baru ini mengambil satu gambar sebagai input dan memberikan pengalaman 3D penuh. Itu dapat membuat karakter dalam gambar berjalan keluar, duduk, berlari, atau melompat dalam 3D, dan seluruh animasi dapat dilihat secara interaktif di monitor dan perangkat VR/AR.
Sekarang, Anda pasti bertanya-tanya bagaimana cara kerja metode baru ini. Nah, ini melibatkan 5 langkah:
- Paskan gambar dengan model tubuh yang morphable
- Perkirakan peta label tubuh
- Buat mesh langkah demi langkah yang dipandu oleh model yang dapat diubah
- Pasang mesh dan perkirakan bobot skinning mesh
- Terakhir, buat kembali tekstur dan letakkan di gambar latar kosong.
CNN mengandalkan model SMPL yang telah dilatih sebelumnya dan berjalan pada GPU NVIDIA TITAN. Ini bekerja pada berbagai gambar frontal, dari poster dan seni hingga foto olahraga. Pengguna bahkan dapat mengedit orang di foto, melihat tubuh yang direkonstruksi dalam 3D, dan menjelajahinya di perangkat AR, misalnya, pengguna dapat menempatkan karya seni di dinding dan berjalan di sekitar animasi saat sedang diputar.
Baca: arXiv:1812.02246 | Universitas Washington
Tim mendemonstrasikan algoritma pada gambar karakter kartun, grafiti, Stephen Curry (pemain NBA), dan lukisan Picasso. Sejauh ini, mereka telah menguji jaringan saraf pada lebih dari 70 gambar yang diunduh dari Internet.
Perbandingan dan Batasan
Para peneliti membandingkan algoritme mereka dengan metode terkait lainnya dan mengevaluasi hasil dengan penelitian pada manusia. Hasil yang diperoleh melalui Photo Wake-Up tampak jauh lebih sedikit terdistorsi dan lebih realistis dalam bingkai foto daripada metode lain. Selain itu, hasil ini memberikan pengalaman 3D aktual yang tidak mungkin dilakukan dengan teknik konvensional.
Baca:Kecerdasan Buatan Baru Dapat Mengubah Siapa Saja Menjadi Penari Profesional
Algoritma ini masih jauh dari sempurna dan masih banyak ruang untuk perbaikan. Misalnya, refleksi dan bayangan belum dimodelkan, dan terkadang menghasilkan pose 3D yang salah sehingga seluruh bentuk tubuh terlihat tidak realistis. Selain itu, oklusi tertentu perlu diperbaiki, seperti menyilangkan kaki saat duduk.
