Kamera Cerdas Belajar Memahami Dunia Visualnya
Para ahli robotika dan peneliti kecerdasan buatan (AI) tahu ada masalah dalam cara sistem saat ini merasakan dan memproses dunia. Saat ini, mereka masih menggabungkan sensor — seperti kamera digital yang dirancang untuk merekam gambar — dengan perangkat komputasi seperti unit pemrosesan grafis (GPU) yang dirancang untuk mempercepat grafis untuk game video.
Ini berarti sistem AI merasakan dunia hanya setelah merekam dan mentransmisikan informasi visual antara sensor dan prosesor. Namun banyak hal yang dapat dilihat seringkali tidak relevan untuk tugas yang sedang dikerjakan seperti detail daun di pohon tepi jalan saat mobil otonom melewatinya. Saat ini, semua informasi ini ditangkap oleh sensor dengan sangat detail dan dikirim menumpuk sistem dengan data yang tidak relevan, mengonsumsi daya dan memakan waktu pemrosesan.
Para peneliti telah mengambil inspirasi dari cara sistem alami memproses dunia visual — mata dan otak manusia bekerja sama untuk memahami dunia dan dalam beberapa kasus, mata itu sendiri melakukan pemrosesan untuk membantu otak mengurangi yang tidak relevan. Para peneliti menerapkan Jaringan Saraf Konvolusional (CNN), bentuk algoritma AI untuk memungkinkan pemahaman visual, secara langsung pada bidang gambar. CNN dapat mengklasifikasikan bingkai pada ribuan kali per detik tanpa harus merekam gambar ini atau mengirimkannya melalui saluran pemrosesan. Para peneliti mempertimbangkan demonstrasi klasifikasi angka tulisan tangan, gerakan tangan, bahkan plankton.
Penelitian ini menunjukkan masa depan dengan kamera AI cerdas yang terdedikasi — sistem visual yang dapat dengan mudah mengirim informasi tingkat tinggi ke sistem lain seperti jenis objek atau peristiwa yang terjadi di depan kamera. Pendekatan ini akan membuat sistem jauh lebih efisien dan aman karena tidak ada gambar yang perlu direkam.
Karya ini menggabungkan SCAMP, chip kamera-prosesor yang digambarkan oleh tim sebagai Array Pemroses Piksel (PPA). PPA memiliki prosesor yang disematkan di setiap piksel yang dapat berkomunikasi satu sama lain untuk memproses dalam bentuk paralel yang sebenarnya. Ini ideal untuk CNN dan algoritma visi.
Integrasi pemindai, pemrosesan, dan memori pada tingkat piksel tidak hanya memungkinkan sistem berkinerja tinggi, laten rendah tetapi juga menjanjikan perangkat keras hemat daya, sangat efisien. Perangkat SCAMP dapat diimplementasikan dengan jejak yang mirip dengan sensor kamera saat ini tetapi dengan kemampuan untuk memiliki prosesor tujuan umum, massal paralel tepat di titik tangkapan gambar.
