NVIDIA Ungkap AI untuk Menghasilkan Lingkungan 3D Interaktif dari Video Dunia Nyata

• Peneliti mendemonstrasikan jenis baru sintesis video-ke-video.
• Ia memungkinkan pengembang untuk merender lingkungan 3D yang sepenuhnya interaktif dari video dunia nyata.
• Ia dapat membuat video selama 30 detik dengan resolusi 2K.

Hampir dua dekade yang lalu, NVIDIA hadirkan GPU pertama di dunia, menawarkan lonjakan yang sangat besar dalam kinerja gaming 3D. Sekarang, mereka telah memperkenalkan alat kecerdasan buatan yang memungkinkan pengembang merender lingkungan tiga dimensi yang sepenuhnya sintetis dan interaktif dari video dunia nyata.

Kemampuan untuk memodel dan merekreasi dinamika dunia nyata sangat penting untuk mengembangkan agen cerdas. Sintesis pengalaman visual yang berkelanjutan memiliki berbagai aplikasi dalam grafis komputer dan robotika. Ini dapat membantu pengembang menciptakan adegan yang realistis tanpa menentukan pencahayaan, bahan, dan geometri adegan.

Dalam pekerjaan ini, peneliti telah mendemonstrasikan jenis baru sintesis video-ke-video. Tujuannya adalah untuk mempelajari fungsi pemetaan yang dapat secara efisien mengubah video input menjadi video output. Mereka telah menyintesis video beresolusi tinggi dan konsisten secara temporal menggunakan generator dan diskriminator, serta pembelajaran adversarial spasial-temporal.

Menggunakan Jaringan Saraf untuk Merender Deskripsi Tingkat Tinggi

Untuk merender dunia tiga dimensi sintetis secara real-time, mereka memulai dengan jaringan saraf generatif bersyarat dan melatihnya pada video yang ada. Jaringan secara bertahap belajar merender objek seperti kendaraan, gedung, dan pohon.

Dengan teknologi yang ada, pengembang perlu memodel setiap objek secara individual, yang merupakan proses yang memakan waktu dan mahal. Di sisi lain, alat baru ini didasarkan pada model yang secara otomatis belajar dari video asli dan menciptakan dunia virtual untuk otomotif, gaming, robotika, arsitektur, dan virtual reality.

Referensi: arXiv:1808.06601 | NVIDIA | GitHub

Ia dapat menciptakan lingkungan interaktif berdasarkan lokasi asli, atau dapat menampilkan orang menari seperti bintang rock favorit mereka. Jaringan bekerja pada deskripsi tingkat tinggi dari adegan 3D, seperti peta tepi yang menjelaskan lokasi objek serta atribut umum mereka seperti apakah bagian tertentu dari citra terdiri dari gedung atau mobil. Kemudian, ia menggunakan adegan dunia nyata untuk mengisi detailnya.

Jaringan saraf dilatih pada video area perkota aktual. Peneliti membuat demo yang memungkinkan orang untuk menavigasi dunia perkota virtual yang dirender oleh jaringan. Karena adegan dibuat secara sintetis, mudah untuk mengedit, menambahkan, atau memodifikasi objek dalam adegan virtual.

Kredit para peneliti

Demo berjalan pada GPU NVIDIA Tensor Core dan memberikan pengalaman baru sepenuhnya dari grafis interaktif, menurut laporan. Jaringan saraf dilatih pada DGX-1 bersama dengan pustaka CUDA Deep Neural Network, menggunakan GPU NVIDIA Tesla V100. Tim memilih ribuan klip dari dataset Cityscapes dan Apolloscapes untuk melatih jaringan.

Pengujian

Mereka melakukan beberapa tes dan memperoleh hasil kuantitatif dan kualitatif, yang menunjukkan bahwa adegan yang disintesis terlihat lebih realistis daripada yang dihasilkan oleh metode state-of-the-art yang ada.

AI baru ini dapat menghasilkan video selama 30 detik dengan resolusi 2K. Juga, ia memberikan kontrol tingkat tinggi atas outputnya. Misalnya, seseorang dapat dengan mudah menambahkan atau mengganti pohon dengan gedung dalam adegan.

Pendekatan ini tidak sempurna dan gagal dalam beberapa skenario, seperti merender kendaraan yang berbelok karena data peta yang tidak cukup. Namun, ini dapat diperbaiki dengan mengintegrasikan petunjuk 3D seperti peta kedalaman.

Baca: Google AI Dapat Melacak Objek dengan Mewarnai Video

Meskipun studi ini masih tahap awal, aplikasi teknik ini dapat membuatnya jauh lebih mudah dan lebih murah untuk mengembangkan lingkungan virtual untuk berbagai domain.