AI Real-Time Langsung Mewarnai Video Hitam-Putih dengan Akurasi Tak Tertandingi

• Algoritme pembelajaran mendalam yang baru memungkinkan editor dengan cepat mewarnai seluruh video dengan mewarnai satu bingkai dalam adegan. 
• Metode ini sangat akurat, efisien, dan 50 kali lebih cepat dibandingkan metode sebelumnya. 

Video terdiri dari banyak data yang berlebihan antar bingkai dan memerlukan banyak waktu untuk mewarnai setiap bingkai hitam putih secara manual. Jenis redundansi ini telah diperiksa secara ekstensif dalam pengkodean dan kompresi video, namun kurang dieksplorasi dalam pemrosesan video tingkat lanjut seperti mewarnai klip.

Ada banyak algoritma (seperti model CNN bilateral, pemfilteran berpandu kesamaan, warping berbasis aliran optik) yang memproses hubungan lokal antara frame yang berurutan untuk menyebarkan data. Mereka menggunakan gerakan nyata atau fitur tingkat piksel yang telah dirancang sebelumnya untuk memodelkan kesamaan antara bingkai dan piksel.

Namun, algoritme ini memiliki beberapa keterbatasan, misalnya, algoritme tersebut tidak dapat mengekspresikan hubungan tingkat tinggi antar bingkai dan tidak dapat mencerminkan struktur gambar secara akurat. Untuk mengatasi keterbatasan ini, para peneliti di NVIDIA telah mengembangkan algoritme baru berdasarkan metode pembelajaran mendalam yang memungkinkan editor dengan cepat mewarnai seluruh klip dengan mewarnai satu frame dalam adegan.

Bagaimana Cara Kerjanya?

Untuk secara eksplisit mempelajari kesamaan tingkat tinggi antara frame yang berurutan, para peneliti telah mengembangkan jaringan propagasi temporal yang terdiri dari komponen propagasi untuk mentransfer karakteristik (seperti warna) dari satu frame ke frame lainnya. Untuk melakukan hal ini, ia menggunakan matriks transformasi linier yang digerakkan oleh jaringan neural konvolusional (CNN).

CNN memutuskan warna apa yang harus ditransfer dari bingkai berwarna dan mengisinya dalam bingkai hitam putih yang tersisa. Apa perbedaan teknik ini dari yang lain, Anda bertanya? Nah, pewarnaan yang lebih baik dapat diperoleh melalui pendekatan interaktif di mana editor memberi anotasi pada sebagian gambar, sehingga menghasilkan produk jadi.

Untuk propagasi pembelajaran pada domain temporal, peneliti menerapkan 2 aturan. Pertama, propagasi antar frame harus dapat dibalik. Kedua, elemen target harus dipertahankan sepanjang keseluruhan proses.

Mereka menunjukkan bahwa teknik yang diusulkan tidak memerlukan metode segmentasi berbasis gambar untuk mencapai hasil yang layak dibandingkan dengan metodologi awal seni yang ada.

Referensi: arXiv:1804.08758 | NVIDIA

Untuk melatih jaringan ini, peneliti menggunakan GPU NVIDIA Titan XP. Ini dilatih pada ratusan klip dari beberapa kumpulan data untuk rentang dinamis tinggi, warna, dan propagasi topeng. Jaringan ini dikonfigurasikan pada set data ACT yang berisi 7.260 rangkaian video dengan sekitar 600.000 frame.

Kelebihan Teknik yang Diusulkan

1. Akurasi Tinggi: Metode baru ini menghasilkan kualitas video yang jauh lebih baik dibandingkan dengan karya sebelumnya.
2. Efisiensi Tinggi: Ini dijalankan secara real-time, yang 50 kali lebih cepat dibandingkan metode sebelumnya. Ini semakin meningkatkan efisiensi dengan memproses semua frame video secara paralel.

Baca:Nvidia AI Dapat Mengonversi Video 30fps Menjadi 240fps

Teknik saat ini menawarkan cara sederhana untuk menyebarkan data dari waktu ke waktu dalam klip. Di tahun-tahun mendatang, para peneliti akan mencoba mencari cara untuk menggabungkan isyarat penglihatan tingkat tinggi seperti penelusuran, semantik, segmentasi, untuk propagasi temporal.