AI Samsung Hasilkan Avatar Berbicara Realistis dari Satu Foto
- Model AI baru dapat membuat avatar berbicara dari satu gambar.
- Pengembang menerapkan model ini pada lukisan populer, termasuk Leonardo Da Vinci dan Mona Lisa.
- Hasilnya ada beberapa gangguan visual, tetapi jauh lebih menakjubkan dari teknik sebelumnya.
Perangkat lunak untuk menghasilkan deepfake (teknik kecerdasan buatan untuk sintesis gambar manusia) membutuhkan kumpulan besar gambar untuk membangun palsuan yang realistis. Kemajuan terbaru dalam jaringan saraf telah menunjukkan bagaimana gambar manusia yang sangat realistis dapat diperoleh dengan melatih jaringan pada berbagai kumpulan data.
Namun, pengembang di pusat penelitian Samsung di Moskova kini telah mengembangkan model kecerdasan buatan (AI) baru yang dapat membuat avatar berbicara dari satu gambar. Meskipun memungkinkan untuk membuat klip video dari satu gambar, melatihnya melalui beberapa gambar menghasilkan pelestarian identitas yang lebih baik dan realisme yang lebih tinggi.
Kepala berbicara yang dihasilkan oleh model ini dapat menangani berbagai pose, termasuk yang melebihi kemampuan sistem berbasis warping. Anda mungkin menemukan beberapa gangguan visual, tetapi hasilnya jauh lebih menakjubkan dibandingkan teknik sebelumnya. Model ini mengarah pada penciptaan multimedia yang pada akhirnya akan sulit dibedakan dari video asli.
Tantangan yang Terlibat
Pembuatan urutan avatar berbicara yang realistis sulit terutama karena dua alasan –
- Kepala manusia memiliki kompleksitas kinematis, geometris, dan fotometrik yang tinggi. Perlu untuk dengan akurat memodelkan rambut, mata, rongga mulut, dan banyak elemen lainnya.
- Keakuratan sistem visual terhadap kesalahan kecil dalam pemodelan penampilan kepala manusia.
Untuk mengatasi masalah ini, model AI baru membuat tiga jaringan saraf selama proses pembelajaran. Ia membangun jaringan terintegrasi yang menghubungkan frame landmark wajah dengan vektor. Kemudian ia membangun jaringan generator untuk memetakan landmark ke klip yang disintesis. Pada langkah akhir, jaringan diskriminator mengevaluasi pose dan realisme frame.
Referensi: arXiv:1905.08233 | YouTube
Untuk lebih memahami landmark dan gerakan wajah, peneliti melatih jaringan pada ribuan video YouTube manusia yang berbicara. Hasilnya (kepala berbicara) kemudian dibandingkan dengan jaringan saraf alternatif melalui pengukuran kuantitatif.
Hasil
Tim menerapkan model ini pada gambar banyak tokoh populer, seperti Mona Lisa, Leonardo Da Vinci, dan Albert Einstein. AI mampu membuat video berbicara dari satu gambar, menghidupkan potret klasik kembali. Ini hanya membutuhkan satu foto untuk membuat video. Namun, model yang dilatih pada 32 gambar dapat mencapai skor personalisasi yang lebih baik dan realisme sempurna.
Jenis AI ini dapat memiliki beberapa aplikasi praktis dalam telepresence, termasuk game multiplayer, konferensi video, serta industri efek khusus.
Di sisi negatif, perkembangan yang cepat dari teknik seperti ini dapat meningkatkan risiko informasi salah, personifikasi, penipuan, dan penggelapan pemilihan.
