Alat Naik Rantai Nilai untuk Menghilangkan Misteri dari Visi AI

Manfaat menambahkan visi ke produk sehari-hari telah menarik perhatian banyak industri dan sektor. Namun, bagaimana sebenarnya Anda mendapatkan data dari kamera, menyematkan pembelajaran mesin pada perangkat untuk menjalankan algoritme inferensi, dan mengaktifkan sesuatu yang berguna untuk diproses?

Jawabannya, seperti dalam desain sistem apa pun, adalah memiliki perangkat lunak, alat, pustaka, kompiler yang tepat, dan sebagainya. Tidak mengherankan bahwa kemampuan seperti itu umumnya di luar jangkauan non-insinyur. Tetapi bahkan di antara pengembang sistem tertanam, pengetahuan dan keterampilan yang dibutuhkan untuk desain sistem visi dianggap kurang.

Salah satu tantangan besar adalah kurangnya kesadaran akan perangkat lunak dan alat yang tersedia untuk mengembangkan sistem visi tertanam, seperti yang dijelaskan Jeff Bier, pendiri Edge AI dan Vision Alliance, dalam briefing dengan EE Timesahead dari 2021 Embedded Vision Summit . Meskipun ada investasi dan penelitian yang signifikan pada algoritme dan silikon, perangkat lunak yang memediasi di antara keduanya — kompiler, pustaka fungsi yang dioptimalkan, dan sebagainya — agak diabaikan, kata Bier.

Menggunakan alat perangkat lunak, kompiler, dan pustaka yang tepat dapat menghasilkan implementasi algoritme yang sangat efisien untuk mikrokontroler atau prosesor tertentu. Tetapi "selama 30 tahun terakhir, perusahaan semikonduktor biasanya kurang berinvestasi dalam perangkat lunak," kata Bier, seorang veteran industri sistem tertanam dan pemrosesan sinyal pada khususnya. “[Perangkat Lunak] sering dipandang sebagai sesuatu yang jahat — itu adalah pusat biaya dalam bisnis yang sangat sensitif terhadap biaya — dan itu terlihat. Sebagai pengembang perangkat lunak tertanam, Anda mungkin melihat alat yang tersedia [untuk Anda] dibandingkan dengan apa yang dimiliki dan dirasakan oleh pengembang PC atau cloud sebagai anak tiri yang tidak dicintai.”

Mengambil argumen ini ke tingkat berikutnya, dia menambahkan, “Anda mungkin memiliki keahlian sistem tertanam, tetapi ada kemungkinan pengembang ini mungkin tidak pernah bekerja dengan data gambar atau jaringan saraf dalam.”

Keterampilan adalah tantangan besar, kata Bier. “Kami mungkin telah melakukan beberapa perhitungan spreadsheet, dan berkata, 'Ya, adalah mungkin untuk menjalankan jaringan saraf dalam semacam ini dengan kinerja yang memadai di aplikasi kami.' Tapi apakah kita tahu bagaimana melakukannya? Apakah kita memiliki keterampilan? Untuk sebagian besar organisasi, jawabannya adalah tidak, karena mereka tidak pernah memiliki kesempatan untuk menggunakan teknologi ini di masa lalu. Karena ini adalah teknologi yang relatif baru di dunia komersial, mereka tidak memiliki keahlian. Mereka tidak memiliki departemen pembelajaran mesin atau departemen visi komputer di perusahaan mereka.

“Dalam beberapa tahun terakhir, ini telah berubah menjadi hambatan yang sangat besar sehubungan dengan aplikasi komersial visi komputer dan jaringan saraf dalam — hanya pengetahuannya.”

Namun, teknologi ini menjadi lebih mudah diakses, karena perusahaan telah berupaya mengatasi kesenjangan keterampilan selama beberapa tahun terakhir. “Kesenjangan pengetahuan dan keterampilan cukup besar tetapi semakin kecil,” kata Bier, menambahkan bahwa “beberapa perusahaan,” satu besar dan satu kecil, “telah memimpin dalam hal ini.” Perusahaan besar adalah Intel; yang kecil adalah Edge Impulse.

“Intel sering membuat saya terkesan sebagai penentang tren dan bersedia melakukan investasi besar dalam perangkat lunak dalam beberapa cara,” kata Bier. “Mereka memiliki, misalnya, rantai alat OpenVINO untuk visi dan inferensi komputer edge, dan DevCloud untuk Edge. Edge Impulse juga merupakan lingkungan berbasis cloud. Bagi pengembang tertanam, [lingkungan cloud] itu terasa aneh. Segala sesuatu untuk mereka sering ada di meja mereka — papan dev, workstation, alat — dan mereka bahkan tidak memerlukan koneksi internet. Semuanya sangat lokal. Jadi, rasanya sangat aneh untuk mengatakan, 'Letakkan kode Anda di cloud' dan jalankan alat di cloud.”

Tren membahas waktu untuk penyebaran serta kesenjangan keterampilan. Frustrasi yang sering terjadi bagi pengembang tertanam adalah mendapatkan akses ke papan dan alat dan memasangnya dengan benar, kata Bier. Garis waktu "biasanya diukur dalam beberapa minggu, terkadang dalam beberapa bulan, dan itu menyakitkan, terutama jika pada akhirnya Anda menyadari bahwa itu bukan yang Anda butuhkan dan Anda perlu mengulangi prosesnya dengan beberapa papan lain." Misalnya, Anda mungkin menemukan di akhir proses bahwa “Anda memerlukan proses berikutnya, dengan kinerja yang lebih tinggi atau rangkaian antarmuka I/O yang berbeda”.

Tetapi jika pemasok “memiliki semua papan pengembangan di cloud yang terhubung ke mesin mereka dan [dapat] mengaksesnya sesuka hati, itu menawarkan kenyamanan luar biasa. Demikian pula, mereka telah mendapatkan versi terbaru dari alat perangkat lunak, dan mereka telah memilah semua ketergantungan di antara mereka.”

Membuka jalan untuk mengimplementasikan visi
Jadi, bagaimana Anda mempercepat penerapan visi tertanam untuk mengaktifkan fitur seperti deteksi dan analisis objek, baik untuk kota pintar, pabrik, ritel, atau aplikasi lainnya?

Setelah menyadari poin-poin menyakitkan yang dijelaskan oleh Bier, perusahaan-perusahaan mengatasinya. Beberapa sekarang menawarkan alat seperti sistem pengembangan berbasis cloud yang memungkinkan Anda memasukkan kode atau data dan mendapatkan evaluasi dalam waktu singkat. Lainnya menyediakan desain referensi yang memungkinkan Anda cukup mencolokkan output kamera dan memilih dari perpustakaan atau aplikasi yang menyediakan algoritme inferensi untuk aplikasi umum.

Di kamp sebelumnya, Intel DevCloud for the Edge dan Edge Impulse menawarkan platform berbasis cloud yang menghilangkan sebagian besar masalah dengan akses mudah ke alat dan perangkat lunak terbaru. Dalam yang terakhir, Xilinx dan yang lainnya telah mulai menawarkan sistem-pada-modul lengkap dengan aplikasi siap produksi yang dapat digunakan dengan alat-alat pada tingkat abstraksi yang lebih tinggi, menghilangkan kebutuhan akan beberapa keterampilan yang lebih khusus.

Prototipe, tolok ukur, dan uji inferensi AI di cloud
Intel DevCloud for the Edge memungkinkan pengguna mengembangkan, membuat prototipe, benchmark, dan menguji aplikasi inferensi AI pada berbagai perangkat keras Intel, termasuk CPU, GPU terintegrasi, FPGA, dan unit pemrosesan visi (VPU). Dengan antarmuka Notebook Jupyter, platform ini berisi tutorial dan contoh yang dimuat sebelumnya dengan semua yang diperlukan untuk bangun dan berjalan dengan cepat. Ini termasuk model yang telah dilatih sebelumnya, data sampel, dan kode yang dapat dieksekusi dari versi terbaru dari toolkit OpenVINO distribusi Intel, serta alat lain untuk pembelajaran mendalam. Semua perangkat pendukung dikonfigurasi untuk kinerja optimal dan siap untuk eksekusi inferensi.

Manfaat paling signifikan bagi pengembang adalah bahwa platform tidak memerlukan pengaturan perangkat keras apa pun di sisi pengguna. Lingkungan pengembangan berbasis browser Jupyter Notebook memungkinkan pengembang menjalankan kode dari dalam browser mereka dan memvisualisasikan hasil secara instan. Ini memungkinkan mereka membuat prototipe solusi visi komputer di lingkungan cloud Intel dan melihat kode mereka berjalan pada kombinasi apa pun dari sumber daya perangkat keras yang tersedia.

Ada tiga manfaat utama dari penawaran berbasis cloud ini. Pertama, membahas masalah kelumpuhan pilihan perangkat keras. Pengembang dapat menjalankan aplikasi AI dari jarak jauh pada berbagai perangkat keras untuk menentukan mana yang terbaik untuk solusi mereka berdasarkan faktor-faktor seperti waktu eksekusi inferensi, konsumsi daya, dan biaya.

Kedua, ia menawarkan akses jarak jauh langsung ke perangkat keras Intel edge terbaru. Di sisi perangkat lunak, ini mengatasi masalah karena harus berurusan dengan perangkat lunak yang sudah ketinggalan zaman, karena menyediakan akses instan ke versi terbaru dari Intel Distribution dari perangkat OpenVINO dan perangkat keras edge yang kompatibel.

Dan ketiga, ia menawarkan akses ke tolok ukur kinerja khusus aplikasi dalam format berdampingan yang mudah dibandingkan.

(Tutorial tentang menjalankan model deteksi objek menggunakan Intel DevCloud for the Edge tersedia di sini.)

Bangun model di cloud, lihat apa yang terjadi secara langsung
Pendekatan lain adalah memasukkan data ke dalam platform cloud untuk memvisualisasikan dan membuat model pelatihan dan menerapkannya pada perangkat yang disematkan. Edge Impulse melakukan hal itu, menawarkan lingkungan pengembangan berbasis cloud yang bertujuan untuk mempermudah penambahan pembelajaran mesin pada perangkat edge tanpa memerlukan gelar Ph.D. dalam pembelajaran mesin, menurut perusahaan.

Platformnya memungkinkan pengguna untuk mengimpor data gambar yang dikumpulkan dari lapangan, dengan cepat membuat pengklasifikasi untuk menafsirkan data tersebut, dan menerapkan model kembali ke perangkat produksi berdaya rendah. Kunci platform web Edge Impulse adalah kemampuan untuk melihat dan melabeli semua data yang diperoleh, membuat blok pra-pemrosesan untuk menambah dan mengubah data, memvisualisasikan kumpulan data gambar, dan mengklasifikasikan serta memvalidasi model pada data pelatihan langsung dari antarmuka pengguna.

Karena membangun model visi komputer dari awal bisa sangat sulit, Edge Impulse menggunakan proses pembelajaran transfer untuk mempermudah dan mempercepat pelatihan model. Ini melibatkan membonceng model yang terlatih dengan baik dan melatih ulang hanya lapisan atas jaringan saraf, yang mengarah ke model yang jauh lebih andal yang berlatih dalam waktu singkat dan bekerja dengan kumpulan data yang jauh lebih kecil. Dengan model yang dirancang, dilatih, dan diverifikasi, model ini kemudian dapat diterapkan kembali ke perangkat. Model kemudian dapat berjalan di perangkat tanpa koneksi internet, dengan semua manfaat bawaannya, seperti meminimalkan latensi, dan berjalan dengan konsumsi daya minimum. Model lengkap dikemas dengan langkah-langkah pra-pemrosesan, bobot jaringan saraf, dan kode klasifikasi dalam satu pustaka C++ yang dapat disertakan dalam perangkat lunak yang disematkan.

Menuju ke tingkat abstraksi yang lebih tinggi
Pendekatan lain yang ditawarkan oleh vendor adalah untuk mengurangi waktu pengembangan dengan menawarkan sistem berbasis modul dan memungkinkan desain pada tingkat abstraksi yang lebih tinggi. Xilinx mengatakan bahwa pendekatan system-on-module (SOMs) barunya dapat memangkas waktu pengembangan sistem vision hingga sembilan bulan, dengan mengatasi meningkatnya kompleksitas dalam vision AI serta tantangan untuk menerapkan AI di edge.

Xilinx baru-baru ini mengumumkan produk pertama dalam portofolio baru SOM:Kria K26 SOM, yang secara khusus menargetkan aplikasi AI vision di kota pintar dan pabrik pintar, bersama dengan kit pengembangan murah yang siap pakai, Kria Kit starter visi AI KV260.

Chetan Khona, direktur industri, visi dan perawatan kesehatan di Xilinx, mengatakan pada konferensi pers untuk meluncurkan keluarga modul baru, “Sistem siap produksi penting untuk penyebaran cepat [dari visi tertanam AI]. Pelanggan dapat menghemat waktu pengembangan hingga sembilan bulan dengan menggunakan desain berbasis modul daripada desain berbasis perangkat.” Dia menambahkan bahwa dengan starter kit, pengguna dapat memulai dalam waktu satu jam, “tanpa perlu pengalaman FPGA.” Pengguna menghubungkan kamera, kabel dan monitor, memasukkan kartu microSD yang diprogram dan menyalakan papan, dan kemudian dapat memilih dan menjalankan aplikasi yang dipercepat pilihan mereka.

Portofolio Kria SOM menggabungkan platform perangkat keras dan perangkat lunak dengan aplikasi akselerasi visi yang siap produksi. Aplikasi turnkey ini menghilangkan semua pekerjaan desain perangkat keras FPGA; pengembang perangkat lunak hanya perlu mengintegrasikan model AI dan kode aplikasi khusus mereka, dan secara opsional memodifikasi alur visi — menggunakan lingkungan desain yang sudah dikenal, seperti kerangka kerja TensorFlow, Pytorch, atau Café serta bahasa pemrograman C, C++, OpenCL, dan Python.

Kria SOM juga memungkinkan kustomisasi dan pengoptimalan untuk pengembang tertanam dengan dukungan untuk PetaLinux berbasis Yocto standar. Xilinx mengatakan kolaborasi dengan Canonical juga sedang berlangsung untuk menyediakan dukungan Linux Ubuntu, distribusi Linux yang sangat populer yang digunakan oleh pengembang AI. Ini menawarkan keakraban yang luas dengan pengembang AI dan interoperabilitas dengan aplikasi yang ada. Pelanggan dapat berkembang di kedua lingkungan dan mengambil salah satu pendekatan untuk produksi. Kedua lingkungan akan dilengkapi dengan infrastruktur perangkat lunak dan utilitas yang berguna.

Kami telah menyoroti tiga pendekatan yang diambil vendor untuk mengatasi kesenjangan keterampilan dan pengetahuan, serta waktu penerapan, untuk pengembangan sistem visi tertanam. Pendekatan berbasis cloud menawarkan alat yang “mendemokratisasi” kemampuan untuk membuat dan melatih model serta mengevaluasi perangkat keras untuk penerapan yang sangat cepat ke perangkat yang disematkan. Dan pendekatan yang menawarkan modul, atau desain referensi, dengan pustaka aplikasi memungkinkan pengembang AI menggunakan alat yang ada untuk membuat sistem visi tertanam dengan cepat. Ini semua menggerakkan kita ke cara yang berbeda dalam melihat papan dan alat pengembangan. Mereka menghilangkan misteri dari visi yang tertanam dengan meningkatkan rantai nilai, menyerahkan pekerjaan tingkat dasar ke alat dan modul vendor.

---

Konten Terkait :

• Visi Tertanam di Titik Ujung
• Lima Tren untuk Ditonton dalam Visi Tersemat dan AI Edge
• Akankah Mesin Memahami Sepenuhnya Apa yang Mereka Lihat?
• Xilinx SOM menargetkan adopsi edge AI dan visi tertanam yang lebih luas
• KTT Visi Tertanam:Persepsi ML pada FPGA kecil
• GWM mengadopsi Ambarella AI vision SoC untuk SUV baru
• AImotive menunjukkan efisiensi penglihatan tepi 98% di Nextchip Apache5
• Papan visi AI berdaya rendah bertahan 'tahun' dengan satu baterai
• OmniVision mengecilkan sensor gambar medis untuk endoskopi lebih dalam