Menggabungkan Dua Model Pembelajaran Mendalam

Pembelajaran mendalam adalah alat yang sangat berharga dalam gudang analis data dengan aplikasi baru di berbagai bidang, termasuk aplikasi industri. Prinsip kerja dasar deep learning adalah menggunakan volume data yang besar untuk membangun model yang dapat membuat prediksi yang akurat.

Mari kita pertimbangkan contoh kecil di mana insinyur otomasi industri dapat menghadapi kebutuhan untuk menggabungkan dua model pembelajaran mendalam. Sebuah perusahaan smartphone mempekerjakan lini produksi yang memproduksi beberapa model smartphone. Visi terkomputerisasi yang menggunakan algoritme pembelajaran mendalam melakukan kontrol kualitas lini produksi.

Saat ini, lini produksi membangun dua smartphone:Telepon A dan Telepon B. Model A dan B masing-masing melakukan kontrol kualitas untuk Telepon A dan B. Perusahaan memperkenalkan smartphone baru, Phone C. Fasilitas produksi mungkin memerlukan model baru untuk melakukan kontrol kualitas untuk ponsel ketiga yang disebut Model C. Membangun model baru membutuhkan sejumlah besar data dan waktu.

Gambar 1. Video yang digunakan atas izin Matt Chan

Alternatif lain adalah menggabungkan pembelajaran dari Model A dan B untuk membangun Model C. Model gabungan dapat melakukan kontrol kualitas dengan sedikit penyesuaian bobot.

Skenario lain di mana model perlu digabungkan adalah ketika model baru harus melakukan dua tugas secara bersamaan. Dua model pembelajaran yang mendalam dapat melakukan tugas-tugas ini. Model yang perlu mengklasifikasikan kumpulan data dan membuat prediksi di setiap kategori dapat dibuat dengan menggabungkan dua model:satu yang dapat mengklasifikasikan kumpulan data besar dan satu yang dapat membuat prediksi.

Pembelajaran Ensemble

Menggabungkan beberapa model pembelajaran yang mendalam adalah pembelajaran ensemble. Hal ini dilakukan untuk membuat prediksi yang lebih baik, klasifikasi, atau fungsi lain dari model pembelajaran yang mendalam. Pembelajaran ensemble juga dapat membuat model baru dengan fungsionalitas gabungan dari model pembelajaran mendalam yang berbeda.

Membuat model baru memiliki banyak manfaat dibandingkan dengan melatih model baru sepenuhnya dari awal.

• Membutuhkan data yang sangat sedikit untuk melatih model gabungan karena sebagian besar pembelajaran berasal dari model gabungan.
• Membuat model gabungan membutuhkan waktu lebih sedikit dibandingkan dengan membuat model baru.
• Membutuhkan lebih sedikit sumber daya komputasi saat model digabungkan.
• Model gabungan baru memiliki akurasi dan kemampuan lebih tinggi daripada model gabungan untuk mendapatkan model baru.

Karena keunggulan yang berbeda dari pembelajaran ensemble, sering dilakukan untuk membuat model baru. Masing-masing algoritme pembelajaran mendalam, paket, dan model terlatih harus menggabungkan model yang berbeda, dan sebagian besar algoritme pembelajaran mendalam yang canggih ditulis dengan Python.

Gambar 2. Ansambel susun untuk jaringan saraf pembelajaran mendalam dengan Python. Gambar digunakan atas izin Penguasaan Pembelajaran Mesin

Mengetahui Python dan masing-masing alat pembelajaran mendalam yang digunakan adalah prasyarat untuk menggabungkan model yang berbeda. Setelah semua itu ada, teknik yang berbeda diterapkan untuk menggabungkan berbagai algoritma pembelajaran mendalam. Mereka dijelaskan di bagian berikut.

Metode Rata-Rata (Berbobot)

Dalam metode ini, rata-rata dari kedua model digunakan sebagai model baru. Ini adalah metode yang paling mudah untuk menggabungkan dua model pembelajaran yang mendalam. Model yang dibuat dengan mengambil rata-rata sederhana dari dua model memiliki akurasi yang lebih tinggi dibandingkan dengan gabungan dua model.

Untuk lebih meningkatkan akurasi dan hasil dari model gabungan, rata-rata tertimbang adalah pilihan yang layak. Bobot yang diberikan untuk model yang berbeda dapat didasarkan pada kinerja model atau pada jumlah pelatihan yang dilakukan setiap model. Dalam metode ini, dua model yang berbeda digabungkan untuk membentuk model baru.

Metode Pengepakan

Model pembelajaran mendalam yang sama dapat memiliki banyak iterasi. Iterasi yang berbeda akan dilatih dengan kumpulan data yang berbeda dan memiliki tingkat peningkatan yang berbeda. Menggabungkan versi berbeda dari model pembelajaran mendalam yang sama adalah metode bagging.

Metodologinya tetap sama dengan metode rata-rata. Versi berbeda dari model pembelajaran mendalam yang sama digabungkan dengan cara rata-rata sederhana atau rata-rata tertimbang. Metode ini membantu membuat model baru yang tidak memiliki bias konfirmasi yang dibangun dengan model tunggal, membuat model lebih akurat dan berperforma tinggi.

Metode Peningkatan

Metode boosting mirip dengan menggunakan loop umpan balik untuk model. Performa suatu model digunakan untuk menyesuaikan model-model berikutnya. Ini menciptakan lingkaran umpan balik positif yang mengumpulkan semua faktor yang berkontribusi pada kesuksesan model.

Gambar 3. Metode peningkatan untuk pembelajaran ansambel. Gambar digunakan atas izin Ashish Patel

Metode boosting mengurangi bias dan varians yang dialami oleh model. Ini dimungkinkan karena sisi negatif tersebut disaring dalam iterasi berikutnya. Boosting dapat dilakukan dengan dua cara berbeda:boosting berdasarkan berat badan dan boosting berdasarkan residu.

Metode Penggabungan

Metode ini digunakan ketika sumber data yang berbeda akan digabungkan ke dalam model yang sama. Teknik kombinasi ini mengambil input yang berbeda dan menggabungkannya ke model yang sama. Kumpulan data yang dihasilkan akan memiliki lebih banyak dimensi daripada kumpulan data asli.

Jika dilakukan beberapa kali secara berurutan, dimensi data akan tumbuh menjadi jumlah yang sangat besar, yang dapat menyebabkan overfitting dan hilangnya informasi penting, sehingga mengurangi kinerja model gabungan.

Metode Penumpukan

Metode susun untuk model pembelajaran mendalam ensemble mengintegrasikan metode yang berbeda untuk mengembangkan model pembelajaran mendalam menggunakan kinerja iterasi sebelumnya untuk meningkatkan model sebelumnya. Menambahkan elemen mengambil rata-rata tertimbang ke model bertumpuk ini meningkatkan kontribusi positif untuk sub-model.

Demikian pula, teknik bagging dan teknik penggabungan dapat ditambahkan ke model. Metode menggabungkan teknik yang berbeda untuk menggabungkan model dapat meningkatkan kinerja model gabungan.

Metodologi, teknik, dan algoritma yang dapat digunakan untuk menggabungkan model pembelajaran yang mendalam tidak terhitung banyaknya dan selalu berkembang. Akan ada teknik baru untuk menyelesaikan tugas yang sama memberikan hasil yang lebih baik. Ide-ide kunci untuk mengetahui tentang menggabungkan model diberikan di bawah ini.

• Menggabungkan model pembelajaran mendalam juga disebut pembelajaran ensemble.
• Penggabungan model yang berbeda dilakukan untuk meningkatkan performa model pembelajaran mendalam.
• Membangun model baru dengan kombinasi membutuhkan lebih sedikit waktu, data, dan sumber daya komputasi.
• Metode yang paling umum untuk menggabungkan model adalah dengan merata-ratakan beberapa model, di mana mengambil rata-rata tertimbang meningkatkan akurasi.
• Bagging, boosting, dan concatenation adalah metode lain yang digunakan untuk menggabungkan model deep learning.
• Pembelajaran ensemble bertumpuk menggunakan teknik kombinasi yang berbeda untuk membangun model.