Google Ungkap AI yang Menghasilkan Video Penuh dari Frame Awal dan Akhir
- Jaringan saraf konvolusi 3D baru dapat mengisi urutan antara frame awal dan akhir.
- Ini menggunakan generator representasi laten untuk menghasilkan berbagai urutan video.
Kemajuan terbaru dalam arsitektur jaringan saraf buatan dan jaringan generatif adversarial telah mendorong pengembangan metode sintesis gambar/video. Sebagian besar penelitian yang ada berfokus pada dua operasi: pembuatan video tanpa kondisi dan prediksi video. Keduanya melibatkan pembuatan/prediksi video baru yang wajar menggunakan sejumlah terbatas frame lampau.
Baru-baru ini, tim peneliti di Google berfokus pada masalah menciptakan urutan video yang beragam dan wajar, ketika hanya ada dua frame (frame awal dan akhir) yang tersedia. Proses, disebut inbetweening, biasanya dilakukan dengan melatih/menjalankan jaringan saraf rekuren, menggunakan unit rekuren gated atau memori pendek-panjang.
Namun, dalam studi ini, peneliti telah menunjukkan bahwa masalah ini (inbetweening) dapat diatasi melalui jaringan saraf konvolusi 3D. Keuntungan utama dari metode ini adalah kesederhanaan. Karena ia tidak menggunakan elemen rekuren, jalur gradien yang lebih pendek dapat memungkinkan jaringan yang lebih dalam dan pelatihan yang lebih stabil.
Model Konvolusional Penuh
Dalam jaringan konvolusi, cukup mudah untuk menegakkan konsistensi temporal dengan frame awal dan akhir (yang disediakan sebagai input). Model memiliki 3 komponen utama –
- Pengkode gambar konvolusi 2D untuk memetakan kunci frame input ke ruang laten.
- Generator representasi laten konvolusi 3D untuk menggabungkan data frame input dengan resolusi temporal yang meningkat secara progresif.
- Generator video untuk mendekode representasi laten menjadi frame video.
Referensi: arXiv:1905.10240 | NVIDIA
Tim mencoba menciptakan video secara langsung dari representasi yang dienkode dari frame awal dan akhir, tetapi hasilnya tidak memuaskan. Itulah sebabnya mereka merancang generator representasi laten, yang secara stokastik menyatukan representasi kunci frame, dan secara bertahap meningkatkan resolusi temporal video akhir.
Pengujian
Tim menguji model mereka pada berbagai kumpulan data publik yang tersedia, termasuk UCF101 Action Recognition, BAIR, dan KTH Action Database.
Contoh frame yang dibuat oleh model baru | Kredit: para peneliti
Hasil akhir: setiap sampel dalam kumpulan data berisi total 16 frame, di mana 14 dihasilkan oleh jaringan saraf konvolusi. Model dijalankan lebih dari seratus kali untuk setiap pasang kunci frame, dan seluruh proses diulang 10x untuk setiap varian model.
Baca: AI Baru Mengubah Video Hitam Putih Menjadi Warna Secara Real-Time
Dalam semua kasus, model mampu menciptakan urutan video yang realistis, asalkan kunci frame berjarak sekitar 1/2 detik satu sama lain. Selain itu, peneliti menunjukkan bahwa mungkin untuk menciptakan berbagai urutan, dengan hanya mengubah vektor input noise yang mendorong proses generatif. Metode baru ini dapat menyediakan perspektif alternatif yang berharga untuk studi masa depan tentang pembuatan video.
