AI Revolusioner Mengubah Foto Statis menjadi Animasi 3D Interaktif
Metode deep learning baru menggunakan jaringan saraf konvolusi untuk menganimasikan karakter dalam 3D dari satu gambar statis tunggal.
Model ini dapat membuat karakter dalam gambar berjalan keluar, duduk, berlari atau melompat dalam 3D.
Seluruh animasi dapat dilihat secara interaktif pada monitor dan perangkat VR/AR.
Dalam beberapa tahun terakhir, animasi umum dari video telah menghasilkan banyak efek kreatif. Menganimasikan dari satu gambar, bukan dari video atau serangkaian foto, juga telah menghasilkan efek yang menarik.
Model Skinned Multi-Person Linear (SMPL) dan kerangka kerja deep learning telah terbukti sangat berguna untuk estimasi pose dan bentuk 3D dari satu gambar. Sejauh ini, sebagian besar teknik animasi orang tunggal telah fokus terutama pada animasi 2D atau pseudo-3D.
Baru-baru ini, tim peneliti di Universitas Washington dan Facebook mengembangkan teknik baru yang dapat mengubah lukisan dan gambar statis menjadi animasi 3D. Metode deep learning ini bernama “Photo Wake-Up” menggunakan jaringan saraf konvolusi (CNN) untuk menganimasikan karakter dalam 3D dari satu gambar statis tunggal.
Menghidupkan Karakter Latar Belakang
Tidak seperti cinemagraph yang menggunakan gambar statis yang bergerak dalam urutan tertentu untuk menciptakan video, sistem baru ini mengambil satu gambar sebagai input dan memberikan pengalaman 3D lengkap. Ia dapat membuat karakter dalam gambar berjalan keluar, duduk, berlari atau melompat dalam 3D, dan seluruh animasi dapat dilihat secara interaktif pada monitor dan perangkat VR/AR.
Sekarang, Anda pasti bertanya-tanya bagaimana metode baru ini bekerja. Nah, melibatkan 5 langkah:
- Sesuaikan gambar dengan model tubuh yang dapat diubah
- Estimasi peta label tubuh
- Membangun jaringan secara bertahap yang dipandu oleh model yang dapat diubah
- Rig jaringan dan estimasi bobot kulit jaringan
- Terakhir, membangun ulang tekstur dan meletakkannya pada gambar latar belakang kosong.
CNN bergantung pada model terlatih SMPL dan berjalan pada GPU NVIDIA TITAN. Ia bekerja pada berbagai gambar depan, dari poster dan seni hingga foto olahraga. Pengguna bahkan dapat mengedit orang dalam foto, melihat tubuh yang direkonstruksi dalam 3D, dan menjelajahi di perangkat AR, misalnya, pengguna dapat meletakkan karya seni di dinding dan berjalan di sekitar animasi saat berjalan.
Baca: arXiv:1812.02246 | Universitas Washington
Tim menunjukkan algoritma pada gambar karakter kartun, grafiti, Stephen Curry (pemain NBA), dan lukisan Picasso. Sejauh ini, mereka telah menguji jaringan saraf pada lebih dari 70 gambar yang diunduh dari Internet.
Perbandingan dan Keterbatasan
Peneliti membandingkan algoritma mereka dengan metode terkait terbaru lainnya dan mengevaluasi hasil dengan studi manusia. Hasil yang diperoleh melalui Photo Wake-Up terlihat jauh lebih sedikit terdistorsi dan lebih realistis dalam frame statis dibandingkan metode lain. Selain itu, hasil ini memberikan pengalaman 3D aktual yang tidak mungkin dengan teknik konvensional.
Baca: AI Baru Dapat Mengubah Siapa Saja menjadi Penari Profesional
Algoritma masih jauh dari sempurna dan masih banyak ruang untuk perbaikan. Misalnya, refleksi dan bayangan belum dimodelkan, dan kadang-kadang menghasilkan pose 3D yang salah sehingga seluruh bentuk tubuh terlihat tidak realistis. Juga, beberapa oklusi perlu disempurnakan, seperti kaki bersilang saat duduk.
