Jaringan Prediksi Berbasis Deep Learning untuk Desain Metamaterial dengan Split Ring Resonator

Abstrak

Perkenalan “metamaterial” telah memberikan dampak yang mendalam pada beberapa bidang, termasuk elektromagnetik. Namun, merancang struktur metamaterial sesuai permintaan masih merupakan proses yang sangat memakan waktu. Sebagai metode machine learning yang efisien, deep learning telah banyak digunakan untuk klasifikasi dan regresi data dalam beberapa tahun terakhir dan telah menunjukkan performa generalisasi yang baik. Kami telah membangun jaringan saraf dalam untuk desain sesuai permintaan. Dengan reflectansi yang diperlukan sebagai input, parameter struktur secara otomatis dihitung dan kemudian dioutput untuk mencapai tujuan desain sesuai permintaan. Jaringan kami telah mencapai mean square errors (MSE) rendah, dengan MSE sebesar 0,005 pada set pelatihan dan pengujian. Hasil menunjukkan bahwa dengan menggunakan deep learning untuk melatih data, model yang terlatih dapat lebih akurat memandu desain struktur, sehingga mempercepat proses desain. Dibandingkan dengan proses desain tradisional, menggunakan deep learning untuk memandu desain metamaterial dapat mencapai tujuan yang lebih cepat, lebih akurat, dan lebih nyaman.

Pendahuluan

Optika nano adalah subjek interdisipliner dari nanoteknologi dan optika. Dalam beberapa tahun terakhir, dengan terus-menerus merancang struktur dengan berbagai ukuran sub-panjang gelombang untuk mencapai interaksi khusus dengan cahaya insiden, ilmuwan telah berhasil memanipulasi karakteristik transmisi tertentu cahaya [1,2,3]. Sejak metamaterial diusulkan, mereka telah menarik perhatian banyak ilmuwan di bidang ini, dan secara bersamaan studi teori terkait [4, 5], proses [6, 7], dan penerapan [8] semuanya berkembang pada kecepatan yang sama. Banyak fungsi unik telah direalisasikan, termasuk citra holografi, penyerapan sempurna [9], dan lensa datar [10]. Karena perkembangan yang cepat dari teknologi terahertz dan karakteristik uniknya, ini juga telah menjadi topik penelitian yang populer dalam bidang metamaterial dalam beberapa tahun terakhir [11,12,13].

Meskipun penerapan metamaterial sangat luas, metode desain tradisional memerlukan desainer untuk melakukan perhitungan numerik yang kompleks berulang kali pada struktur yang dirancang. Proses ini mengkonsumsi waktu dan sumber daya komputasi yang besar. Oleh karena itu, mendesak untuk menemukan cara baru untuk menyederhanakan atau bahkan mengganti metode desain tradisional.

Sebagai bidang lintas disiplin, machine learning mencakup banyak disiplin termasuk ilmu kehidupan, ilmu komputer, dan psikologi, ia telah bekerja untuk menggunakan komputer untuk meniru dan menerapkan proses pembelajaran manusia untuk memperoleh pengetahuan atau keterampilan baru. Prinsip dasar machine learning dapat dijelaskan sederhana sebagai penggunaan algoritma komputer untuk mendapatkan korelasi di antara sejumlah besar data atau untuk memprediksi aturan di antara data serupa dan akhirnya mencapai tujuan klasifikasi atau regresi. Hingga saat ini, banyak algoritma machine learning telah diterapkan pada penetapan metamaterial dan telah mencapai hasil yang signifikan, termasuk algoritma genetika [14], algoritma regresi linier [15], dan jaringan saraf dangkal. Seiring struktur menjadi semakin kompleks dan perubahan dalam struktur menjadi lebih beragam, masalah akan membutuhkan lebih banyak waktu untuk diselesaikan. Pada saat yang sama, sifat yang sangat nonlinier dari masalah membuat algoritma machine learning sederhana sulit untuk mendapatkan prediksi yang akurat. Selain itu, untuk merancang struktur metamaterial yang cocok untuk efek elektromagnetik tertentu, desainer perlu mencoba dan melakukan perhitungan numerik yang kompleks pada struktur. Proses-proses ini akan mengkonsumsi waktu dan sumber daya komputasi yang luar biasa.

Sebagai salah satu algoritma terbaik dalam bidang machine learning, deep learning telah mencapai pencapaian yang terkenal di dunia di berbagai bidang terkait seperti penglihatan komputer [16], ekstraksi fitur [17], dan pemrosesan bahasa alami [18]. Pada saat yang sama, keberhasilan di bidang lain yang tidak terkait komputer juga banyak, termasuk banyak disiplin dasar seperti ilmu kehidupan, kimia [19], dan fisika [20] [21]. Oleh karena itu, menerapkan deep learning pada desain metamaterial juga merupakan arah penelitian yang hangat saat ini, dan banyak karya unggulan telah muncul [22,23,24].

Terinspirasi oleh deep learning, makalah ini melaporkan studi menggunakan algoritma machine learning berdasarkan jaringan saraf dalam untuk memprediksi struktur split-ring resonator (SRR) untuk mencapai tujuan desain sesuai permintaan. Selain itu, jaringan forward dan jaringan reverse secara inovatif dilatih secara terpisah, yang tidak hanya dapat meningkatkan akurasi jaringan, tetapi juga dapat mencapai berbagai fungsi melalui kombinasi yang fleksibel. Hasil menunjukkan bahwa metode ini dapat mencapai MSE sebesar 0,0058 dan 0,0055 pada set pelatihan dan validasi, masing-masing, dan menunjukkan keandalan serta generalisasi yang baik. Dengan model yang terlatih memandu desain struktur metamaterial, siklus desain dapat diperpendek menjadi hari atau bahkan jam, dan peningkatan efisiensi jelas. Selain itu, metode ini juga memiliki skalabilitas yang baik dan hanya perlu mengubah data set pelatihan untuk merancang berbagai input atau struktur yang berbeda sesuai permintaan.

Teori dan Metode

Pembuatan Model COMSOL

Untuk menunjukkan bahwa deep learning dapat diterapkan pada desain terbalik struktur metamaterial, kami memodelkan struktur SRR tiga lapis yang terdiri dari cincin emas, dasar silika, dan dasar emas untuk mengamati respons elektromagnetiknya terhadap tindakan cahaya insiden. Seperti yang ditunjukkan pada Gambar 1, sudut bukaan θ cincin emas, jari-jari dalam r cincin, dan lebar garis d cincin dipilih sebagai variabel independen dari struktur ini. Khi sebuah berkas cahaya berpolarisasi linier memasuki metamaterial secara normal, kurva panjang gelombang-reflectansi di bawah berbagai struktur diperoleh dengan mengubah variabel struktur. Tebal cincin Au adalah 30 nm, dasar SiO₂ adalah 100 nm, dan dasar Au adalah 50 nm, dan ukuran meta-atom adalah 200 nm × 200 nm.

Jaringan Prediksi Berbasis Deep Learning untuk Desain Metamaterial dengan Split Ring Resonator

Gunakan COMSOL Multiphysics 5.4 [25] untuk pemodelan, pilih dimensi ruang tiga dimensi, pilih optika ≥ gelombang optika ≥ gelombang elektromagnetik domain frekuensi (ewfd) untuk bidang fisika dan pilih domain panjang gelombang untuk penelitian. Buat model di atas dalam geometri. Bahan setiap bagian dan indeks biasnya didefinisikan secara berurutan dalam bahan, dan port serta kondisi periodik ditambahkan dalam domain frekuensi gelombang elektromagnetik.

Membangun Model Jaringan Saraf Deep Learning

Kami telah membangun jaringan reverse dan jaringan forward untuk struktur metamaterial. Jaringan reverse dapat memprediksi parameter struktur SRR dari dua set kurva panjang gelombang-reflectansi yang diberikan dengan arah polarisasi yang berbeda. Jaringan forward dapat memprediksi kurva panjang gelombang-reflectansi dalam dua arah polarisasi dengan parameter struktur yang diberikan. Fungsi jaringan reverse adalah inti dari fungsi prediksi. Peran jaringan forward adalah untuk memverifikasi hasil prediksi jaringan reverse untuk mengamati apakah hasil prediksi memenuhi respons elektromagnetik yang diperlukan.

Gunakan eclipse 2019 sebagai platform pengembangan, python3.7 sebagai bahasa pemrograman, dan TensorFlow 1.12.0 sebagai kerangka pengembangan.

Keduajaringan dilatih secara terpisah untuk menjaga hasil pelatihan setiap jaringan tidak terpengaruh oleh kesalahan jaringan lain, yang kemudian memastikan akurasi masing-masing keduajaringan.

Seperti yang ditunjukkan pada Gambar 2, keuntungan lain dari pelatihan keduajaringan secara terpisah adalah mereka dapat digunakan untuk tujuan yang berbeda melalui urutan koneksi yang berbeda: (a) jaringan reverse + jaringan forward, yang dapat menggunakan kurva panjang gelombang-reflectansi yang diberikan untuk menghitung parameter struktur, membuat prediksi dan memverifikasi apakah hasil prediksi memenuhi kebutuhan, dan (b) menggunakan jaringan forward saja dapat menyederhanakan proses perhitungan metode perhitungan numerik dan mengurangi waktu perhitungan.

Patut dicatat bahwa proses input dan mendapatkan hasil dari model yang terlatih menggunakan metode deep learning memakan waktu yang sangat singkat. Dan setiap kali data baru diperoleh melalui simulasi atau eksperimen, model dapat digunakan untuk pelatihan lebih lanjut. Studi menunjukkan bahwa seiring peningkatan data pelatihan, akurasi model akan semakin tinggi, dan performa generalisasi semakin baik [26].

Parameter struktur adalah beberapa set nilai eigen kontinu, yang termasuk dalam masalah regresi. Dalam beberapa tahun terakhir, jaringan terhubung penuh telah menjadi fokus jaringan deep learning pada masalah regresi dan menunjukkan karakteristik keandalan yang tinggi, throughput data yang besar, dan latensi rendah. Melakukan beberapa penyesuaian pada jaringan terhubung penuh akan memungkinkan jaringan untuk lebih baik memprediksi struktur.

Seperti yang ditunjukkan pada Gambar 3b, jaringan forward adalah jaringan terhubung penuh di mana semua node dari dua lapisan berseberangan terhubung satu sama lain. Data input adalah parameter struktur, dan output adalah kurva panjang gelombang-reflectansi dari dua arah polarisasi. Seperti yang ditunjukkan pada Gambar 3a, jaringan reverse terdiri dari lapisan ekstraksi fitur (FE layer) dan lapisan terhubung penuh (FC layer). FE layer terdiri dari dua set jaringan terhubung penuh yang tidak terhubung satu sama lain dan memproses kurva panjang gelombang-reflectansi cahaya berpolarisasi linier dalam dua arah untuk mengekstrak beberapa fitur dari data input. FC layer akan mempelajari fitur yang diekstrak dan mengoutputkan parameter struktur. Karena karakteristik kohesi tinggi dan kopling rendah di antara kurva panjang gelombang-reflectansi dalam berbagai status polarisasi, memisahkan input dua set data cahaya berpolarisasi dalam arah yang berbeda dapat mencegah jaringan terganggu oleh standarisasi data selama proses ekstraksi data. Jaringan forward tidak melibatkan beberapa set input dan tidak perlu mempertimbangkan interferensi saling antara data, jadi tidak memiliki lapisan ekstraksi fitur.

Untuk menentukan struktur jaringan optimal, jaringan dengan struktur yang berbeda dilatih menggunakan set data yang sama. Seperti yang ditunjukkan pada Gambar 4, setelah data melalui 50 epoch (kiedy semua data telah melalui pelatihan lengkap, disebut epoch), MSE yang dicapai oleh jaringan forward dengan struktur yang berbeda. Dari gambar kiri Gambar 4, ketika jaringan forward berisi 5 lapisan tersembunyi, setiap lapisan berisi 100 node, MSE terendah yang dicapai sekitar 0,0174, jadi jaringan forward dengan struktur ini akan dipilih.

Secara serupa, beberapa jaringan reverse yang berbeda dilatih, dan volume pelatihan masih diatur ke 50 epoch. Hasilnya ditampilkan pada gambar kanan Gambar 4. Ketika jumlah lapisan FC adalah 7 dan jumlah lapisan FE adalah 3, jaringan mencapai MSE terendah, yang sekitar 0,1756.

Kami menemukan bahwa jumlah lapisan jaringan yang lebih besar akan menghasilkan fenomena meledaknya gradien, yang akan menyebabkan jaringan gagal konvergen, dan kerugian tak hingga, jadi tidak dicantumkan dalam gambar.

Pra-pemrosesan Data

Untuk melatih jaringan forward yang lebih andal, data reflectansi dibagi ulang, dan itu disatukan dengan refractivity Au dan SiO₂ yang sesuai dengan setiap frekuensi. Data yang dirakit kemudian dinormalisasi dan diinput ke jaringan forward, yang dapat meningkatkan secara besar-besaran akurasi jaringan forward.

Untuk memastikan bahwa data dengan nilai yang lebih besar tidak akan memiliki dampak yang lebih tinggi pada jaringan daripada data dengan nilai yang lebih kecil, data input perlu dinormalisasi agar setiap kolom data memenuhi distribusi normal standar (nilai rata-rata adalah 0, variansi adalah 1), dan kemudian data yang diproses x dapat diekspresikan sebagai berikut:

$$ x=\frac{\left({x}_0\hbox{-} \mu \right)}{\sigma } $$ (1)

Dalam ekspresi, x₀ adalah data asli sampel, μ adalah rata-rata sampel, dan σ adalah deviasi standar sampel. Jika data input tidak dibagi ulang, reflectansi akan terdistorsi setelah normalisasi, yang akan mengurangi akurasi jaringan. Data yang dibagi ulang tidak akan mempengaruhi distribusinya karena normalisasi.

Metode Jaringan Saraf

Prinsip jaringan saraf adalah untuk membangun banyak neuron (node) dengan meniru cara otak manusia bekerja dan belajar [27]. Neuron terhubung satu sama lain, dan output disesuaikan dengan menyesuaikan bobot koneksi. Output node j-th dari suatu lapisan dapat diekspresikan sebagai berikut:

$$ {y}_j=\frac{\sum \limits_{i=1}^nf\left({w}_i{x}_i+{b}_j\right)}{n} $$ (2)

f adalah fungsi aktivasi, w_i adalah bobot koneksi node i-th dari lapisan sebelumnya yang terhubung ke node j, x_i adalah output node i-th dari lapisan sebelumnya, b_j adalah istilah bias dari node ini, dan n adalah jumlah node di lapisan sebelumnya yang terhubung ke node j.

Pemilihan Fungsi Aktivasi

Untuk memenuhi nonlinieritas tinggi dari masalah terbalik, fungsi ELU [28] digunakan sebagai fungsi aktivasi dari setiap lapisan neuron [28]. Output f(x) dari fungsi ELU dapat diekspresikan dalam bentuk piecewise sebagai berikut:

$$ f(x)=\left\{\begin{array}{c}x\\ {}\alpha \left({e}^x-1\right)\end{array}\right.{\displaystyle \begin{array}{c},\\ {},\end{array}}{\displaystyle \begin{array}{c}x\ge 0\\ {}x<0\end{array}} $$ (3)

Dalam fungsi ini, x adalah input asli, dan nilai parameter untuk α berkisar dari 0 hingga 1.

Alasan penggunaan fungsi aktivasi adalah bahwa fungsi aktivasi mengubah kemampuan ekspresi nonlinier dari setiap lapisan jaringan, sehingga meningkatkan kemampuan fitting nonlinier keseluruhan jaringan. Seperti yang ditunjukkan pada Gambar 5, fungsi ELU menggabungkan keuntungan fungsi aktivasi Sigmoid dan rectified linear unit (ReLU). Ketika x < 0, ia memiliki soft saturation yang lebih baik, yang membuat jaringan lebih tangguh terhadap perubahan input dan kebisingan. Ketika x > 0, tidak ada saturation, yang membantu mengurangi hilangnya gradien jaringan. Fitur bahwa nilai rata-rata ELU dekat dengan 1 dapat membuat jaringan lebih mudah untuk fitting. Hasil membuktikan bahwa menggunakan ELU sebagai fungsi aktivasi dari jaringan saraf deep learning meningkatkan ketangguhan jaringan secara signifikan.

Skema Inisialisasi Bobot

Metode inisialisasi bobot jaringan setiap lapisan menentukan kecepatan fitting jaringan dan bahkan menentukan apakah jaringan dapat fitting atau tidak. Inisialisasi variasi scaling berdasarkan jumlah data input di setiap lapisan dan mengekstrak bobot dari distribusi normal terpotong yang berpusat pada 0, sehingga variansi dapat dikurangi hingga rentang tertentu, kemudian data dapat menyebar lebih dalam ke seluruh jaringan [29]. Pada struktur jaringan ini, menggunakan inisialisasi variasi scaling dapat membuat kecepatan konvergen jaringan jauh lebih cepat.

Solusi Overfitting

Karena data yang tidak mencukupi, jaringan akan menghasilkan beberapa overfitting. Dengan mengurangi overfitting, jaringan dapat memiliki performa generalisasi yang baik pada data di luar set pelatihan. Regulasi L2 (juga disebut weight-decay dalam masalah regresi) digunakan untuk memproses bobot w. Output yang diregulasi L dapat diekspresikan sebagai berikut:

$$ L={L}_0+\frac{\lambda }{2n}\sum {w}^2 $$ (4)

Dalam Eq. (4), L₀ mewakili fungsi loss asli, dan istilah regulasi $ \frac{\lambda }{2n}\sum {w}^2 $ ditambahkan pada dasar ini, di mana λ mewakili koefisien regulasi, n throughput data, dan w bobot. Setelah istilah regulasi ditambahkan, nilai bobot w cenderung menurun secara keseluruhan, dan kemunculan nilai berlebih dapat dihindari, jadi w juga disebut weight attenuation. Regulasi L2 dapat mengurangi bobot untuk menghindari kemiringan yang besar dari kurva fitting, sehingga secara efektif mengurangi fenomena overfitting jaringan dan membantu konvergen.

Pada dasar ini, metode dropout juga digunakan. Metode ini dapat dilihat secara visual sebagai “menyembunyikan” skala tertentu dari node jaringan untuk setiap pelatihan, dan menyembunyikan node yang berbeda selama setiap pelatihan, untuk mencapai tujuan melatih beberapa “jaringan parsial”. Dan melalui pelatihan, sebagian besar “jaringan parsial” dapat mewakili target dengan akurat, dan hasil dari semua “jaringan parsial” dapat diurutkan untuk mendapatkan solusi target.

Menggunakan metode regulasi L2 dan dropout yang disebutkan di atas tidak hanya dapat secara efektif mengurangi generalisasi rendah yang disebabkan oleh data yang tidak mencukupi, tetapi juga dapat mengurangi dampak sejumlah kecil data salah dalam data set terhadap hasil pelatihan.

Pada struktur jaringan dan data set ini, dengan dropout = 0,2 dan koefisien regulasi L2 λ = 0,0001, jaringan dapat mendapatkan akurasi yang serupa pada set pelatihan dan set pengujian, sehingga mencapai performa generalisasi yang tinggi.

Hasil dan Pembahasan

Setelah pelatihan, jaringan forward kami dapat mencapai tingkat fitting yang tinggi, dengan MSE sebesar 0,0015, yang menunjukkan output sangat mirip dengan hasil simulasi, seperti yang ditunjukkan pada Gambar 6. Ini juga memastikan bahwa saat melatih jaringan reverse, hasil jaringan reverse dapat diverifikasi secara andal.

Terakhir, kami akan menghasilkan dua model dari jaringan yang telah dipelajari dan menghubungkan keduamodel untuk mencapai fungsi prediksi.

Fungsi prediksi dapat memilih kombinasi yang ditunjukkan pada Gambar 2a. Jaringan reverse memprediksi struktur yang sesuai sesuai dengan kurva panjang gelombang-reflectansi yang diperlukan, dan jaringan forward memverifikasi respons optik struktur. Seperti yang ditunjukkan pada Gambar 7, dengan membandingkan reflectansi yang diverifikasi dengan reflectansi input, karakteristik reflectansi cahaya insiden dalam dua arah polarisasi pada dasarnya konsisten. Meskipun ketidakcocokan reflectansi kecil dapat diamati untuk beberapa nilai panjang gelombang, tren kecocokan secara keseluruhan jelas tidak dapat ditolak, karena kesalahan berada dalam rentang yang dapat diterima.

Kesimpulan

Dalam artikel ini, kami telah menyajikan jaringan deep learning yang dirancang kami, yang mampu menciptakan berbagai efek melalui penggunaan kombinasi fleksibel dari konfigurasi jaringan. Jaringan reverse yang dirancang kami dapat memprediksi struktur yang diperlukan menggunakan input kurva panjang gelombang-refractive, yang dapat sangat mengurangi waktu yang diperlukan untuk menyelesaikan masalah terbalik dan memenuhi berbagai kebutuhan melalui penggunaan kombinasi yang fleksibel. Hasil menunjukkan bahwa jaringan telah mencapai akurasi yang lebih tinggi dalam prediksi, yang lebih lanjut menyiratkan bahwa desain sesuai permintaan dapat diselesaikan melalui metode kami. Menggunakan deep learning untuk memandu desain metamaterial dapat secara otomatis mendapatkan struktur metamaterial yang lebih akurat, hasil yang tidak tercapai oleh metode desain tradisional.

Ketersediaan Data dan Bahan

Tanggal naskah berasal dari jaringan simulasi kami, dan kami tidak dapat membaginya karena beberapa alasan pribadi.

Singkatan

ELU:: Exponential linear units
FC layer:: Fully connected layer
FE layer:: Feature extraction layer
FNN:: Forward neural network
MSE:: Mean square errors
ReLU:: Rectified linear unit
RNN:: Reverse neural network
SRR:: Split-ring resonator

Laser DFB Tiga Bagian Monolitik Mengaktifkan Generasi RF Tunggal/Dual dengan Rentang Luas Nanopartikel Co/CoP Terkapsulasi dalam Nanotubus Karbon Doped N,P pada Nanosheet MOF Berpori Nano: Katalis Elektroberkinerja Tinggi untuk Reaksi Reduksi dan Evolusi Oksigen

bahan nano