AI Sekarang Dapat Menyusun Gerakan Tarian yang Beragam dan Realistis

• Peneliti melatih model pembelajaran mendalam untuk menghasilkan langkah-langkah tarian baru yang realistis, beragam, dan konsisten gaya.
• Dapat membantu dan memperluas pembuatan konten di beberapa bidang, seperti senam ritmik dan pertunjukan teater.

Ketika para ilmuwan secara bertahap mengarahkan komputer ke tingkat kecerdasan manusia, mereka mulai menangani beberapa upaya yang sangat manusiawi. Kami pasti telah mencapai titik di mana kecerdasan buatan dapat membantu koreografer mencampuradukkan berbagai hal dengan menyarankan ribuan gaya yang berbeda.

Baru-baru ini, para peneliti di University of California mengembangkan model pembelajaran mendalam untuk menghasilkan langkah-langkah tarian baru yang realistis, beragam, dan konsisten gaya. Ini berisi kerangka pembelajaran sintesis demi analisis untuk menghasilkan tarian yang cocok dengan irama dari musik.

Membangun kerangka musik-ke-tarian seperti itu adalah tugas yang menantang, tetapi dapat membantu dan memperluas pembuatan konten di beberapa bidang, seperti figure skating, senam ritmik, dan pertunjukan teater.

Inti Dari Koreografer AI

Untuk mensintesis tarian dari musik, peneliti mengembangkan kerangka dekomposisi menjadi komposisi, yang pertama mempelajari cara bergerak (dalam fase dekomposisi) dan kemudian bagaimana mengatur gerakan dasar menjadi urutan (dalam fase komposisi).

Pada fase pertama, mereka mengekstrak ketukan gerakan dari urutan tarian, menggunakan detektor ketukan kinematik. Setiap urutan tarian kemudian dinormalisasi secara temporal menjadi serangkaian unit tarian. Unit tarian individu diuraikan menjadi pose dan gerakan awal.

Referensi:arXiv:1911.02001 | GitHub

Pada fase kedua, peneliti mengusulkan model musik-ke-gerakan untuk membuat urutan gerakan yang sesuai dengan musik input. Pada saat run time, mereka mengekstrak informasi ketukan dan gaya, dan kemudian secara berurutan menghasilkan serangkaian unit tari sesuai dengan gaya musik. Akhirnya, mereka membelokkan unit dansa dengan mengekstraksi ketukan audio.

Untuk melatih jaringan, tim mengumpulkan lebih dari 360.000 video klip dengan total durasi 71 jam. Video ini mencakup tiga kategori tarian:Hip-Hop, Zumba, dan Balet.

Untuk memproses pose yang berbeda, mereka menggunakan OpenPose, sistem multi-orang waktu nyata untuk bersama-sama mendeteksi titik kunci tubuh, wajah, tangan, dan kaki manusia pada satu gambar. Dan untuk evaluasi performa, mereka menggunakan metrik yang berbeda untuk memeriksa konsistensi gaya, realisme, keragaman, dan pencocokan irama.

Memetakan tarian yang dihasilkan ke video foto-realistis | Atas perkenan peneliti 

Para peneliti juga mensintesis urutan pose ke video foto-realistis untuk memvisualisasikan hasilnya dengan lebih baik. Kumpulan data tari dan musik berpasangan berskala besar beserta kode sumbernya tersedia di GitHub.

Baca: AI Dapat Memprediksi Kehadiran Penonton Dengan Menganalisis Cuplikan Film

Jaringan permusuhan generatif dilatih menggunakan kerangka pembelajaran mendalam PyTorch pada GPU NVIDIA V100. Dalam waktu dekat, peneliti akan menambahkan lebih banyak gaya menari (seperti tarian pasangan) untuk membuat sistem menjadi lebih baik.