AI Mendorong Rendering Rambut 3D Real-Time dengan 30.000 Helai

• Para peneliti mengembangkan jaringan saraf yang dapat menghasilkan geometri rambut 3D penuh dari gambar 2D. 
• Jaringan ini mampu merender hingga 30.000 helai rambut dalam milidetik.
• Dapat dengan lancar mengambil sampel dan menginterpolasi berbagai gaya rambut, termasuk bergelombang, keriting, dan lurus. 

Membuat rambut realistis pada mesin mungkin merupakan tugas terberat saat mendigitalkan manusia virtual. Dibandingkan dengan objek lain seperti mata, hidung, dan telinga, rambut memiliki variasi bentuk yang sangat beragam dan bisa menjadi sangat kompleks karena tingkat deformabilitas pada setiap helai rambut dan struktur volumetriknya.

Bukan berarti sistem yang ada tidak dapat menghasilkan model rambut 3D berkualitas tinggi, namun sistem tersebut biasanya memerlukan pengaturan perangkat keras dan perangkat lunak tertentu, yang tidak mudah diterapkan. Beberapa teknik modern memang menggunakan pendekatan berbasis data, namun tidak layak untuk aplikasi dan sistem real-time dengan ruang memori terbatas.

Kini, para peneliti di Microsoft, Pinscreen, dan University of Southern California telah membangun model pembelajaran mendalam yang dapat menghasilkan geometri rambut 3D penuh dari gambar 2D secara real-time.

Daripada mensintesis struktur dalam bentuk awan titik atau kisi-kisi volumetrik, ini menciptakan helaian rambut secara langsung. Metode ini lebih sesuai untuk struktur non-manifold, dan dapat memberikan detail dan akurasi yang lebih tinggi.

Jaring Rambut

The neural network, what they call HairNet, is capable of continuously producing and representing 3D hair geometry. Ini dapat dengan lancar mengambil sampel dan menginterpolasi berbagai gaya rambut, termasuk bergelombang, keriting, dan lurus.

Pipeline jaringan neural terdiri dari 3 langkah:prapemrosesan, pembuatan helai rambut, dan rekonstruksi.

HairNet berisi encoder konvolusional untuk mengekstraksi fitur rambut tingkat tinggi (dalam bentuk vektor) dari gambar 2D, dan decoder de-konvolusional untuk menghasilkan fitur untai 32*32 yang didistribusikan secara merata di kulit kepala. Fitur untaian ini kemudian diinterpolasi pada ruang kulit kepala, yang akhirnya direpresentasikan sebagai rangkaian titik 3D.

Arsitektur Jaringan | Atas perkenan para peneliti

Untuk mendorong gaya rambut ke arah yang lebih masuk akal, para peneliti memperkenalkan 'kehilangan rekonstruksi' dan 'kehilangan tabrakan' antara model tubuh dan helai rambut. Mereka menggunakan gambar masukan sebagai bobot untuk memodulasi kehilangannya, yang selanjutnya meningkatkan akurasi.

Pelatihan

Para peneliti melatih jaringan saraf pada kumpulan data besar yang berisi 40.000 gaya rambut dan 160.000 gambar dua dimensi dari sudut pandang acak. Jaringan tersebut kemudian mempelajari cara membuat ulang rambut 3D dengan berbagai gaya, warna, dan panjang, dari satu foto 2D.

Merender rambut dari gambar 2D menggunakan HairNet | Atas perkenan para peneliti

AI dilatih pada GPU Nvidia Titan Xp (unit pemrosesan grafis) dengan kerangka kerja PyTorch yang didukung oleh pustaka jaringan saraf dalam CUDA.

Referensi: arXiv:1806.07467

Ia dapat merender hingga 30.000 helai rambut dalam milidetik. Selain itu, ia dapat meniru video dan merender setiap untaian – semuanya berinteraksi satu sama lain.

Pekerjaan Masa Depan

Tim menyimpulkan bahwa teknik mereka belum sempurna. Itu tidak bisa menangani gaya rambut eksotis seperti potongan Afro, keriting atau buzz. Namun, melatih jaringan pada kumpulan data besar yang berisi lebih banyak variasi dapat mengatasi masalah ini.

Baca:AI Bisa Menempatkan Siapa Pun di Pose Apa Pun | Mensintesis Gambar Manusia Dalam Pose Tak Terlihat

Teknik ini juga gagal jika rambut sedikit tersumbat pada gambar yang diberikan. Oleh karena itu, mereka berencana untuk meningkatkan kumpulan data pelatihan di masa mendatang dengan mengintegrasikan lebih banyak oklusi acak.