AI Menghasilkan Gerakan Tari Realistik dan Beragam untuk Revolusi Koreografi
- Peneliti melatih model deep learning untuk menghasilkan langkah tari baru yang realistik, beragam, dan konsisten gaya.
- Ia dapat membantu dan memperluas pembuatan konten di beberapa area, seperti gimnastik ritmis dan pertunjukan teater.
Saat ilmuwan secara bertahap mendorong komputer menuju tingkat kecerdasan manusia, mereka telah mulai menangani beberapa usaha yang sangat manusia. Kami telah mencapai titik di mana kecerdasan buatan dapat membantu koreografer untuk mencampur hal-hal dengan menyarankan ribuan gaya yang berbeda.
Baru-baru ini, peneliti di Universitas California mengembangkan model deep learning untuk menghasilkan langkah tari baru yang realistik, beragam, dan konsisten gaya. Ia berisi kerangka kerja pembelajaran sintesis-dari-analisis untuk menghasilkan tari yang cocok irama dari musik.
Membangun kerangka kerja musik-ke-tari semacam ini adalah tugas yang menantang tetapi dapat membantu dan memperluas pembuatan konten di beberapa area, seperti patin artistik, gimnastik ritmis, dan pertunjukan teater.
Inti dari Koreografer AI
Untuk mensintesis tari dari musik, peneliti mengembangkan kerangka kerja dekomposisi-komposisi, yang pertama mempelajari cara bergerak (dalam fase dekomposisi) dan kemudian cara menyusun gerakan dasar menjadi urutan (dalam fase komposisi).
Dalam fase pertama, mereka mengekstrak irama gerakan dari urutan tari, menggunakan detektor irama kinestetik. Setiap urutan tari kemudian dinormalisasi secara temporal menjadi serangkaian unit tari. Unit tari individual diurai menjadi posisi awal dan gerakan.
Referensi: arXiv:1911.02001 | GitHub
Dalam fase kedua, peneliti mengusulkan model musik-ke-gerakan untuk menciptakan urutan gerakan yang cocok dengan musik input. Pada waktu eksekusi, mereka mengekstrak informasi irama dan gaya, dan kemudian secara berurutan menghasilkan serangkaian unit tari sesuai dengan gaya musik. Akhirnya, mereka merubah bentuk unit tari dengan irama audio yang diekstrak.
Untuk melatih jaringan, tim mengumpulkan lebih dari 360.000 klip video totaling 71 jam. Video-video ini mencakup tiga kategori tari: Hip-Hop, Zumba, dan Ballet.
Untuk memproses berbagai posisi, mereka menggunakan OpenPose, sistem multi-organg waktu nyata untuk mendeteksi secara bersamaan titik kunci tubuh, wajah, tangan, dan kaki pada satu gambar. Dan untuk evaluasi performa, mereka menggunakan berbagai metrik untuk memeriksa konsistensi gaya, realisme, keragaman, dan kecocokan irama.
Memetakan tari yang dihasilkan ke video fotorealistik | Kurnia peneliti
Peneliti juga mensintesis urutan posisi ke video fotorealistik untuk memvisualisasikan hasilnya dengan lebih baik. Dataset besar yang berpasangan tari dan musik bersama dengan kode sumber tersedia di GitHub.
Baca: AI Can Predict Audience Attendance By Analyzing A Movie Trailer
Jaringan lawan generatif dilatih menggunakan kerangka kerja pembelajaran dalam PyTorch pada GPU NVIDIA V100. Di masa mendekat, peneliti akan menambahkan lebih banyak gaya tari (seperti tari pasangan) untuk membuat sistem menjadi lebih baik.
