AI Menghasilkan Citra Makanan Realistik dari Resep Berbasis Teks
Sistem baru berbasis deep learning dapat secara otomatis menghasilkan gambar dari deskripsi teks yang panjang.
Peneliti menunjukkan sebuah jaringan yang mengambil resep sebagai input dan membangun gambar dari nol.
Menghasilkan gambar dari deskripsi visual yang pendek adalah tugas yang menantang dan memiliki banyak aplikasi dalam visi komputer. Studi terbaru telah membuktikan bahwa Jaringan Lawan Generatif (GAN) dapat secara efektif menyintesis gambar berkualitas tinggi dan realistis dengan resolusi rendah dan variabilitas rendah.
Kontribusi terbaru yang dilakukan oleh tim peneliti di Universitas Tel Aviv, Israel, dapat membantu mempercepat penelitian di bidang ini. Mereka telah membangun model berbasis deep learning yang dapat secara otomatis membuat gambar dari deskripsi berbasis teks.
Secara khusus, mereka telah menunjukkan sistem mereka menghasilkan gambar makanan yang selesai dari resep tulisan sederhana. Untuk melakukannya, sistem menggunakan kombinasi Stacked GAN terbaru dan learning cross-modal embeddings untuk resep masakan dan gambar makanan.
Jaringan Lawan Generatif Bersyarat
Pada dasarnya, GAN terdiri dari dua model (generator dan diskriminator) yang dilatih untuk bersaing satu sama lain. Generator dirancang untuk menyintesis gambar yang mirip dengan distribusi data asli, sementara tugas diskriminator adalah membedakan antara gambar asli dan sintetis.
Dalam karya ini, peneliti menggunakan GAN bersyarat di mana baik generator maupun diskriminator dipaksa untuk mempertimbangkan kondisi tertentu. Mereka mengusulkan dua jenis teknik embeddings: regulasi semantik dan non-semantik. Teknik ini terdiri dari tiga langkah:
- Embedding awal dari bahan dan petunjuk memasak.
- Embedding neural gabungan dari seluruh resep.
- Integrasi kerugian regulasi semantik menggunakan objektif klasifikasi tingkat tinggi.
GAN bersyarat dilatih pada 52.000 resep berbasis teks dan gambar yang sesuai. Sistem dilatih menggunakan GPU NVIDIA TITAN X dengan pustaka Jaringan Syaraf Dalam CUDA. Setelah dilatih, sistem membangun gambar dari apa yang mungkin terlihat resep dari deskripsi panjang (yang tidak mengandung informasi visual apa pun).
Referensi: arXiv:1901.02404 | Tel-Aviv University
Evaluasi Manusia
Jaringan mengambil resep sebagai input dan menciptakan gambar (dari nol) yang paling mencerminkan deskripsi berbasis teks dari makanan. Yang sangat mengesankan di sini adalah sistem tidak memiliki akses ke judul resep — jika tidak, pekerjaan akan menjadi terlalu mudah — dan teks resep cukup panjang. Ini membuat tugas sulit bahkan bagi manusia.
Dari pihak peneliti
Untuk mengevaluasi gambar yang disintesis dengan lebih baik, tim meminta 30 orang untuk menilai gambar yang paling menarik pada skala 1 hingga 5. Mereka menyajikan 10 pasang gambar yang sesuai (dipilih secara acak) yang dihasilkan oleh setiap teknik embeddings.
Hasil menunjukkan bahwa metode regulasi non-semantik mengalahkan regulasi semantik dengan menghasilkan gambar yang lebih hidup dengan detail fotorealistik. Faktanya, beberapa orang merasa sangat sulit untuk membedakan antara gambar asli dan sintetis.
Baca: AI Dapat Menghasilkan Jutaan Kombinasi Artistik untuk Hasil Fotorealistik
Selain itu, kedua teknik embeddings berhasil menghasilkan gambar makanan 'mirip bubur' (seperti salade, sup, dan nasi) tetapi kesulitan menciptakan gambar makanan yang memiliki bentuk yang mencolok (seperti ayam, hamburger, dan minuman).
