Menguasai Pembaruan Bobot dan Backpropagation dalam Perceptron Lapisan Ganda

Dalam artikel ini kami menyajikan persamaan yang tepat yang digunakan untuk perhitungan pembaruan bobot dan menjelaskan bagaimana backpropagation memungkinkan perceptron lapisan ganda (MLP) untuk belajar dari data.

Selamat datang dalam seri machine learning yang komprehensif dari AAC.

Selesaikan seri sejauh ini di sini:

1. Bagaimana Melakukan Klasifikasi Menggunakan Jaringan Syaraf Tiruan: Apa Itu Perceptron?
2. Bagaimana Menggunakan Contoh Jaringan Syaraf Tiruan Perceptron Sederhana untuk Mengklasifikasikan Data
3. Bagaimana Melatih Jaringan Syaraf Tiruan Perceptron Dasar
4. Memahami Pelatihan Jaringan Syaraf Tiruan Sederhana
5. Pengantar Teori Pelatihan untuk Jaringan Syaraf Tiruan
6. Memahami Learning Rate dalam Jaringan Syaraf Tiruan
7. Machine Learning Tingkat Lanjut dengan Perceptron Lapisan Ganda
8. Fungsi Aktivasi Sigmoid: Aktivasi dalam Jaringan Syaraf Tiruan Perceptron Lapisan Ganda
9. Bagaimana Melatih Jaringan Syaraf Tiruan Perceptron Lapisan Ganda
10. Memahami Rumus Pelatihan dan Backpropagation untuk Perceptron Lapisan Ganda
11. Arsitektur Jaringan Syaraf Tiruan untuk Implementasi Python
12. Bagaimana Membuat Jaringan Syaraf Tiruan Perceptron Lapisan Ganda dalam Python
13. Pemrosesan Sinyal Menggunakan Jaringan Syaraf Tiruan: Validasi dalam Desain Jaringan Syaraf Tiruan
14. Dataset Pelatihan untuk Jaringan Syaraf Tiruan: Bagaimana Melatih dan Memvalidasi Jaringan Syaraf Tiruan Python

Kami telah mencapai inti teori jaringan syaraf tiruan: langkah komputasi yang menyetel bobot MLP sehingga ia dapat mengklasifikasikan sampel input dengan akurat. Proses ini adalah dasar algoritma backpropagation, titik sudut deep learning modern.

Memperbarui Bobot

Melatih MLP secara matematis padat, dan terminologi bervariasi di antara sumber. Persamaan di bawah ini diambil dari turunan yang jelas Dr. Dustin Stansbury, menjadikannya referensi yang baik baik untuk pemula maupun praktisi.

Diagram menunjukkan arsitektur yang akan kami implementasikan dalam kode, dan persamaan yang mengikutinya langsung memetakan ke struktur ini.

Terminologi

• Pre-aktivasi (S_preA): Jumlah terbobot input ke fungsi aktivasi neuron, dihitung sebagai dot product dari bobot masuk dan aktivasi.
• Post-aktivasi (S_postA): Output neuron setelah menerapkan fungsi aktivasi f_A(·). Kami menggunakan fungsi logistic (sigmoid) dalam contoh kami.
• Matriks bobot: Dalam kode kami menandainya ItoH (input-ke-tersembunyi) dan HtoO (tersembunyi-ke-output) untuk menghindari ambigu.
• Target (T): Output yang benar untuk sampel pelatihan.
• Learning rate (LR): Ukuran langkah untuk pembaruan bobot.
• Error akhir (FE): S_postA,O – T.
• Sinyal error (S_ERROR): FE dikalikan dengan turunan fungsi aktivasi neuron output.
• Gradien: Kontribusi bobot tertentu ke sinyal error; kita mengurangi LR × gradien dari bobot saat ini.

Diagram pendamping mengilustrasikan konsep ini dalam konteks.

Persamaan pembaruan bobot berasal dari turunan parsial dari error kuadrat jumlah terhadap setiap bobot. Untuk bobot tersembunyi-ke-output:

S_ERROR = FE × f_A'(S_preA,O)

gradien_HtoO = S_ERROR × S_postA,H

bobot_HtoO ← bobot_HtoO – (LR × gradien_HtoO)

Untuk bobot input-ke-tersembunyi, error harus melintasi lapisan tambahan:

gradien_ItoH = S_ERROR × bobot_HtoO × f_A'(S_preA,H) × input

bobot_ItoH ← bobot_ItoH – (LR × gradien_ItoH)

Backpropagation

Backpropagation memecahkan masalah node tersembunyi: meski bobot input-ke-tersembunyi mempengaruhi output akhir secara tidak langsung, kita dapat menghitung efeknya dengan menyebarkan sinyal error kembali melalui jaringan dan menskalanya dengan bobot keluar dan turunan aktivasi. Teknik ini adalah dasar pelatihan model dalam.

Kesimpulan

Kami telah membongkar persamaan kunci yang menggerakkan pembaruan bobot dan mekanisme backpropagation dalam MLP. Konsep-konsep ini mendasari setiap aplikasi jaringan syaraf tiruan modern, dan menguasainya membuka pintu ke pemodelan lanjutan. Tetap terhubung untuk bagian-bagian selanjutnya dalam seri kami, di mana kami akan menyelami lebih dalam desain arsitektur, implementasi Python, dan teknik validasi.