Membangun Pengenali Angka Tangan Raspberry Pi dengan TensorFlow & OpenCV
Temukan cara melatih jaringan saraf konvolusional mendalam untuk mentranskripsi angka tangan dan menyebarkannya di Raspberry Pi menggunakan Kamera Pi, OpenCV, dan TensorFlow.
Ringkasan
Dalam proyek ini kita akan melalui seluruh alur AI: dari persiapan data dan pelatihan model di laptop, hingga pengenalan angka secara real-time di kamera Pi. Solusi ini mengandalkan Scikit-Learn dan OpenCV 3.3 untuk manipulasi gambar, dan Keras (dengan backend TensorFlow) untuk komponen pembelajaran mendalam.
Kami menggunakan dataset MNIST – 60.000 gambar pelatihan dan 10.000 gambar uji angka grayscale 28×28 piksel. Gambar yang ditangkap oleh kamera Pi diproses terlebih dahulu untuk cocok dengan format ini sebelum dimasukkan ke jaringan yang telah dilatih.
Arsitektur jaringan adalah tumpukan konvolusi standar diikuti oleh lapisan output yang terhubung sepenuhnya dengan sepuluh neuron, masing-masing mewakili satu angka (0–9).
Setelah model dilatih, bobotnya dipindahkan ke Raspberry Pi. Skrip Python ringan menangkap frame, menerapkan konversi grayscale, thresholding, pengubahan ukuran, inversi, lalu melakukan inferensi.
Pengaturan Hardware
Untuk demonstrasi, saya memasang Kamera Pi pada penopang sementara – rangka sederhana yang dipegang tangan yang menjaga kamera tetap fokus pada satu angka. Dalam praktiknya, penopang tetap atau enclosure kecil dapat meningkatkan stabilitas.
Instalasi Perangkat Lunak
Buat lingkungan virtual Python di Pi dan instal perpustakaan yang diperlukan. Perintah di bawah ini mengasumsikan Anda memiliki Raspberry Pi OS yang berfungsi dan Python 3.7+.
source ~/.profile workon cv python PiCameraApp.py --picamera 1
Instal TensorFlow
pip install tensorflow
Instal Keras
pip install keras
Instal OpenCV 3.3
OpenCV harus dikompilasi dari sumber untuk mengaktifkan optimasi penuh di Pi. Panduan langkah demi langkah tersedia di PyImageSearch.
https://www.pyimagesearch.com/2017/09/04/raspbian-stretch-install-opencv-3-python-on-your-raspberry-pi/
Terakhir, instal perpustakaan PiCamera dengan optimasi NumPy:
pip install "picamera[array]"
Pelatihan Model
Jalankan skrip pelatihan di laptop (lebih baik dengan GPU). Skrip mendefinisikan CNN di Keras, mengompilasinya, melatihnya pada data MNIST, memvalidasi kinerja, lalu menyimpan bobot ke model_weights.h5.
python Train_MNIST.py
Jika Anda memiliki GPU NVIDIA, instal TensorFlow dan driver CUDA yang diaktifkan GPU untuk mempercepat pelatihan. Tanpa GPU proses akan tetap selesai, meskipun akan memakan waktu lebih lama.
Setelah pelatihan, transfer model_weights.h5 ke Pi melalui scp atau WinSCP.
Pengenalan Angka Real-Time
Jalankan skrip pengenalan di Pi. Program menangkap frame saat Anda menekan t dan diakhiri dengan q. Akurasi bergantung besarnya pada pencahayaan, sudut, dan kejelasan tulisan tangan. Hasil umum mencapai >95% akurasi pada angka yang bersih dan kontras tinggi.
Pipeline Pra-pemrosesan Gambar
- Tangkap frame RGB sebagai array NumPy.
- Konversi ke grayscale (hapus dua saluran warna).
- Skala nilai piksel ke integer unsigned 8-bit (0-255).
- Terapkan thresholding Otsu untuk mendapatkan gambar hitam-putih yang bersih.
- Ubah ukuran ke 28×28 piksel – bentuk input MNIST.
- Balik warna sehingga angka putih di latar hitam, cocok dengan data pelatihan.
- Meratakan gambar dan masukkan ke model yang dimuat.
Model mengeluarkan vektor probabilitas panjang sepuluh. Indeks dengan probabilitas tertinggi adalah angka yang diprediksi.
Kesimpulan Utama
Contoh ini menunjukkan alur kerja akhir ke akhir yang lengkap: persiapan data, pelatihan model, penyebaran, dan inferensi pada komputer papan tunggal. Kode tersedia di GitHub untuk siapa pun yang ingin bereksperimen atau memperluas sistem.
Referensi
Sumber: AI Digit Recognition with PiCamera