Memvisualisasikan Nilai dengan Kecepatan Cahaya

Industri inspeksi makanan global membutuhkan alat yang lebih baru dan lebih tepat untuk memenuhi peraturan pemerintah yang ketat. Dari tanaman khusus hingga makanan laut, daging, dan unggas, pasar pengujian keamanan pangan saja bernilai $19,5 miliar USD yang mengejutkan pada tahun 2021 dan diproyeksikan mencapai $28,6 miliar pada tahun 2026 ¹ . Ini adalah salah satu contoh di mana Hyperspectral Imaging (HSI) mewakili alat yang dapat meringankan tugas yang membosankan dan padat karya, serta membawa tingkat konsistensi baru ke beberapa aplikasi penilaian subyektif historis.

Awalnya dikembangkan untuk aplikasi penginderaan jauh yang melibatkan citra dari pesawat dan satelit, HSI telah menjadi teknik komersial yang layak untuk aplikasi visi mesin tingkat lanjut. Sensor HSI bertindak seperti ribuan atau jutaan spektrometer yang memberikan tanda kimia dari cahaya yang dipantulkan pada setiap piksel gambar. Sensor headwall dapat disetel ke rentang panjang gelombang di luar kemampuan mata manusia untuk membedakan, dari ultraviolet dan tampak (UV dan VIS) hingga rentang panjang gelombang inframerah-dekat (VNIR, NIR, dan SWIR).

Sensor pencitraan hiperspektral dapat membedakan fitur spektral yang tidak terlihat oleh mata manusia dan pencitraan warna konvensional. Fitur-fitur ini dapat mendeteksi benda asing yang berpotensi berbahaya dan menyediakan sarana untuk menyortir dan menilai bahan seperti produk makanan yang nilainya sering dikaitkan dengan karakteristik yang seringkali lebih baik dan lebih konsisten diukur dengan sistem HSI daripada manusia yang mengalami kelelahan atau kelelahan. efek dari sesuatu yang sederhana seperti memvariasikan jumlah kopi setiap hari 2.

Sistem yang memanfaatkan HSI telah menghadapi rintangan yang signifikan dalam penyebaran industri karena kebutuhan untuk menangani data mentah dalam jumlah yang relatif besar dan mengatasi kompleksitas relatif dari pengembangan model klasifikasi spektral. Namun, platform HSI yang lebih baru seperti sistem pencitraan Hyperspec® MV.X Headwall menggabungkan spektrometer pencitraan kinerja tinggi dengan komputasi dan perangkat lunak tertanam yang kuat untuk dengan cepat membuat model klasifikasi spektral untuk mengekstrak hasil yang dapat ditindaklanjuti secara real time dan mengirim instruksi melalui jaringan lokal ke mengambil tindakan atau mengumpulkan data pemantauan dan kontrol.

Cara Berbeda dalam Memandang Sesuatu

Mata manusia, bagaimanapun kemampuannya, hanya dapat mendeteksi gambar yang termasuk dalam spektrum cahaya tampak antara 400 nm dan 700 nm. Hanya ada tiga warna dalam rentang ini yang termasuk dalam wilayah RGB (merah, hijau, atau biru) yang luas, dan sensitivitas serta persepsi warna setiap orang sangat bervariasi. Namun demikian, industri inspeksi makanan telah bergantung pada manusia dan sensor RGB untuk mendeteksi masalah dan menilai produk selama berabad-abad. Ini termasuk benda asing yang terlewatkan sebelumnya dalam proses pemanenan, dan bahkan kondisi penyakit yang sulit dideteksi yang mungkin sebagian besar tidak terlihat oleh salah satu metode tradisional ini. Taruhannya tinggi:preferensi konsumen, kemampuan untuk memenuhi peraturan pemerintah yang baru, dan nilai pemegang saham perusahaan semuanya dapat bergantung pada ketepatan dan efektivitas bagaimana inspeksi diterapkan di semua aspek industri makanan.

Sensor 'pencitraan spektral' dapat dibagi menjadi dua kategori. Sensor multispektral terdiri dari segelintir pita spektral, di mana saja dari empat hingga puluhan, sedangkan sensor hiperspektral memberikan tampilan yang jauh lebih granular (yaitu, resolusi spektral tinggi), karena mereka dapat menangkap ratusan pita spektral sekaligus. Keduanya memberikan gambaran yang jauh lebih lengkap tentang makanan yang diperiksa karena jauh melampaui paradigma RGB sederhana yang biasa digunakan dan digunakan secara tradisional.

Manusia melihat warna sebagai kombinasi merah (1), hijau (2), dan biru (3) di wilayah spektrum elektromagnetik yang sangat kecil. Penambahan pita 4 dan 5 mewakili contoh multispektral, di mana lebih dari 3 area spektrum ditangkap dan dianalisis. Pencitraan hiperspektral menggunakan ratusan pita spektrum, bukan hanya beberapa. Hal ini memungkinkan kinerja tinggi spektrometer pengukuran titik tetapi pada setiap piksel gambar yang dapat terdiri dari jutaan piksel.

Sistem penglihatan mesin 'canggih' untuk tujuan diskusi ini dapat terdiri dari satu atau lebih sensor pencitraan spektral, sumber penerangan yang sesuai, dan komputer yang mengumpulkan data gambar saat berkomunikasi dengan robotika hilir. Sensor menyajikan data gambar ke komputer secara real time, dan data gambar tersebut kemudian dikirim ke sistem robotika. Sistem robotika menginterpretasikan gambar dan segera memahami apa yang harus dilakukan berdasarkan algoritma dan instruksi. Dalam beberapa kasus, itu mungkin hanya mengambil dan menghapus sepotong materi asing (lulus/gagal). Dalam kasus lain, itu akan mengarahkan warna tertentu dari suatu produk ke jalur lain untuk diproses lebih lanjut ('grading' produk). Untuk aplikasi daur ulang, alat ini dapat mengklasifikasikan berbagai jenis plastik yang terlihat serupa di sepanjang jalur berkecepatan tinggi.

Sensor hyperspectral bukanlah perangkat yang berdiri sendiri melainkan bagian penting dan sangat akurat dari keseluruhan sistem visi mesin yang canggih. Dengan satu perkiraan ³ , visi mesin telah digunakan di kurang dari 20% aplikasi yang berpotensi berguna. Oleh karena itu, masuk akal untuk mendiskusikan cara-cara di mana teknologi pencitraan yang kuat ini dapat membuat proses pemeriksaan menjadi lebih baik dan lebih efisien secara ekonomi.

Sensor HSI dapat dianggap sebagai 'set mata baru' yang bertindak sebagai penjaga yang berdiri mengawasi jalur inspeksi, berapa lama pun siklus produksi tipikal berlangsung. Kemampuannya untuk 'berbicara' dengan elemen lain dari sistem adalah alasan penting mengapa penginderaan hiperspektral disukai sebagai alat baru untuk industri dengan kemampuan yang jauh melampaui unit RGB.

Sensor hiperspektral "pushbroom" menangkap gambar dengan memindai baris demi baris melalui celah (kiri), setiap baris berisi piksel yang menyimpan karakteristik spektral subjek (tengah). Saat sensor bergerak relatif terhadap area atau objek yang dipindai, kumpulan data dibangun (kanan). Dataset yang dihasilkan dapat dianggap sebagai tumpukan di mana setiap lapisan mewakili "pita" tertentu (rentang kecil panjang gelombang). Piksel digabungkan untuk membentuk gambar di mana setiap piksel tidak hanya berisi nilai RGB konvensional, tetapi juga ratusan nilai di sepanjang rentang panjang gelombang sensor.

Fungsi dasar dari sensor hiperspektral adalah untuk menangkap irisan individu dari adegan yang masuk melalui celah fisik dalam kasus desain 'sapu dorong' dan untuk memecah setiap irisan menjadi komponen panjang gelombang diskrit yang kemudian disajikan ke array bidang fokus (FPA) . Sebuah kisi difraksi mengelola tugas menyebarkan irisan gambar menjadi komponen panjang gelombang diskrit. Kisi direkayasa dengan profil alur yang presisi untuk mempertahankan koherensi spasial dalam satu dimensi (panjang celah gambar) dan menyebabkan informasi spasial (lebar celah, dalam mikron) terdifraksi. Proses difraksi (dispersi) ini memungkinkan konten spektral untuk transversal ke saluran panjang gelombang yang diketahui pada sensor.

Teknologi pemindaian garis spektral sapu dorong semua-reflektif yang digunakan oleh Headwall menangkap garis spektral (spektral X spasial dan Z) di setiap 'bingkai'. Bingkai berurutan membangun dimensi spasial Y. Desain pushbroom lebih disukai karena kemampuannya untuk memberikan distorsi rendah pada resolusi spasial dan spektral yang sangat tinggi. Throughput yang tinggi berarti rasio signal-to-noise yang tinggi dan stray light yang sangat rendah. Karena ini adalah desain yang semuanya reflektif, masalah dispersi kromatik dihilangkan.

Jika dilihat melalui celah sensor hiperspektral, yang kita lihat hanyalah jalur spasial yang dilewati celah tersebut. Ini akan setara dengan satu kolom piksel. Anda masih dapat melihat detail spasial dalam gambar, tetapi hanya satu strip pada satu waktu. Di setiap celah, ada banyak warna. Sistem HSI memisahkan cahaya di setiap piksel spasial menjadi warna yang berbeda dalam piksel tersebut. Setiap kali kamera mengambil gambar celah, kamera mendapatkan data spektral bingkai penuh untuk setiap piksel. Menumpuk setiap gambar spektral celah saat kami melintasi adegan, kami membangun kubus data hiperspektral. Saat sensor bergerak dari kiri ke kanan di atas pemandangan, perangkat lunak pemrosesan hiperspektral canggih dapat mengambil satu set gambar dan menyatukannya untuk memperoleh 'kubus data' penuh.

Salah satu karakteristik pencitraan spektral yang membuatnya sempurna untuk aplikasi visi mesin tingkat lanjut adalah gerakan. Karena sensor menangkap data gambar bingkai demi bingkai, mereka secara alami bergantung pada gerakan yang terjadi. Sensor perlu bergerak di atas bidang pandang (seperti jika dipasang pada drone atau pesawat terbang dalam aplikasi penginderaan jauh), atau bidang pandang perlu bergerak di bawah sensor (seperti dalam penerapan visi mesin tingkat lanjut). ).

Komunitas pertanian presisi telah mengadopsi sensor hiperspektral dan multispektral sebagai muatan untuk drone dan pesawat terbang yang terbang di atas ladang tanaman. Banyak data pertanian penting ditangkap oleh sensor ini, sehubungan dengan indeks seperti NDVI, PRI, WBI, Red Edge Ratio dan banyak lagi. Vitalitas tanaman, pemupukan dan efektivitas irigasi, serta tanda-tanda awal spesies dan penyakit invasif semuanya dapat dilihat dalam ratusan pita sensor Visible-Near-Infrared (VNIR) yang 'melihat' antara 400 nm dan 1000 nm.

Sensor hiperspektral dapat ditempatkan di sepanjang jalur produksi dan dihubungkan ke robot yang mengambil tindakan yang tepat berdasarkan analisis waktu nyata yang dilakukan di prosesor tertanam dalam sistem sensor itu sendiri.

Sepanjang konveyor berkecepatan tinggi, tingkat data bermakna yang sama dapat dikumpulkan untuk memberikan dampak positif pada proses inspeksi. Karakteristik frame-rate dan field-of-view sedemikian rupa sehingga sensor lebih dari mampu memantau garis lebar yang beroperasi pada kecepatan tinggi. Tingginya tingkat diskriminasi yang diberikan oleh HSI berarti bahwa bahkan anomali yang sulit dibedakan dapat dilihat dan dikelola. Blueberry di ladang stroberi mudah dikenali, tetapi bagaimana dengan warna kecil atau perbedaan kimia dalam tanaman yang sama atau dalam bahan daur ulang yang tampak serupa? Hanya hyperspectral yang dapat membedakan perbedaan yang tidak mungkin terlihat ini.

Desain Sensor HSI

Sinar cahaya yang memasuki celah sensor hyperspectral pushbroom dipisahkan menjadi spektrum warna seperti pelangi, dalam hal ini oleh kisi holografik dari alur yang sangat halus. Spektrum jatuh ke fotosensor 2D. Perangkat lunak mengubah level sinyal pada setiap piksel fotosensitif menjadi kurva spektral pada setiap piksel gambar saat sensor bergerak relatif terhadap objek yang dipindai.

Meskipun sensor HSI kadang-kadang disebut sebagai 'kamera', sebenarnya mereka adalah perkawinan spektrometer dan kamera. Sensor headwall didasarkan pada desain semua-reflektif yang tidak memiliki bagian yang bergerak atau berpotensi mengganggu optik transmisif. Hal ini dicapai dengan menggunakan kisi-kisi difraksi holografik yang mengatur cahaya masuk yang melewati celah gambar. Kisi-kisi tidak hanya sangat presisi, tetapi juga kecil dan ringan. Hal ini memungkinkan instrumen itu sendiri menjadi kecil dan ringan untuk penempatan yang mudah di mana saja.

Headwall adalah satu-satunya produsen sensor spektral yang juga membuat kisi difraksi sendiri. Setiap kisi adalah 'kualitas master', yang berarti profil alur yang identik dari satu ke yang berikutnya untuk aplikasi tertentu. Karena kinerja optik dasar sensor adalah fungsi kisi, kemampuan ini mewakili diferensiasi yang sebenarnya. Sensor hiperspektral dirancang dan 'disetel' ke rentang spektral tertentu. Dalam setiap rentang, ratusan pita spektral dikumpulkan, memberikan pandangan yang sangat tepat dan sangat jelas tentang segala sesuatu yang bergerak di sepanjang garis inspeksi...baik secara spektral maupun spasial.

Rentang Visible-Near-Infrared (VNIR) mencakup dari 400 nm hingga 1000 nm dan rentang Extended VNIR mencakup dari 550 nm hingga 1700nm. Rentang Inframerah Dekat (NIR) mengumpulkan data gambar dari 900 nm hingga 1700nm, sedangkan rentang Inframerah Gelombang Pendek (SWIR) mencakup dari 900 nm hingga 2500 nm. Karena materi 'memantulkan cahaya' pada titik-titik tertentu dalam rentang ini, penting untuk terlebih dahulu menentukan tanda tangan itu sendiri. Kemudian, melalui algoritme, sensor dapat mengkarakterisasi bahan atau mendeteksi sesuatu yang tidak secara tepat didefinisikan sebagai 'baik', tidak hanya berkenaan dengan bahan asing, tetapi juga perbedaan 'gradasi' yang sulit dibedakan dari satu buah beri ke buah beri lainnya atau dari satu buah ke buah lainnya. lain. Ini adalah karakteristik pencitraan hiperspektral yang sangat berharga, karena memiliki tingkat kekhususan yang jauh melampaui sensor RGB tradisional.

Masalah Ringan

Karena sensor HSI mengukur dan menganalisis cahaya yang dipantulkan, pencahayaan merupakan pertimbangan penting. Tujuan keseluruhannya adalah untuk memberikan bidang pandang sensor dengan bentuk iluminasi yang sangat seragam dan konsisten yang sekaligus kuat dan ekonomis.

Untuk rentang spektral VNIR, Quartz Tungsten Halogen (QTH) mewakili salah satu teknologi iluminasi tersebut sementara sumber cahaya LED yang lebih baru dapat dilihat sebagai alternatif lain meskipun kurang matang. Serat optik yang dibundel juga menghadirkan sumber cahaya yang seragam. Banyak dari apa yang menarik perhatian industri inspeksi makanan 'tercerminkan' pada rentang di luar yang terlihat, yang memotong sekitar 700 nm. Jadi memiliki sumber cahaya yang menutupi kedua sisi titik ini sangat penting.

Selain sedingin mungkin, kuat, dan seragam, sumber cahaya harus sepenuhnya melintasi lebar garis inspeksi. Kemampuan tepi-ke-tepi ini memanfaatkan bidang pandang sensor yang luas, memungkinkan produk yang diperiksa tidak hanya terlihat langsung di bawah sensor itu sendiri tetapi juga ke tepinya. Tidak ada pengaturan dalam jalur pemeriksaan makanan berkecepatan tinggi karena produk bisa ada di mana-mana... di sepanjang tepinya atau disatukan di ban berjalan. Umur panjang sumber cahaya juga penting karena banyak jalur pemeriksaan makanan yang beroperasi sepanjang waktu.

Karena sensor sedang membangun 'kubus' data gambar satu irisan pada satu waktu dan iluminasi itu sendiri adalah strip yang sangat tipis, wilayah yang diinginkan ('gambar celah') adalah yang perlu diterangi. Target reflektansi putih digunakan untuk mengkalibrasi sensor sebelum operasi sebenarnya. Ini adalah langkah penting karena sensor mengumpulkan data gambar yang akan digunakan oleh sistem robotika hilir (misalnya, vakum, pisau udara, cakar pemetik) untuk memisahkan 'baik' dari 'buruk'. Tujuannya selalu untuk menyajikan jenis yang tepat. cahaya pada intensitas yang tepat, tepat di tempat yang dibutuhkan. Juga, penting bahwa dokumentasi yang ada menyediakan panjang gelombang dan intensitas cahaya melintasi bidang proyeksi, keseragaman cahaya, dan degradasi melintasi jarak standar. Dengan cara ini, posisi yang tepat dari sensor relatif terhadap garis dapat ditentukan jika beberapa penyesuaian pada arsitektur garis diperlukan.

Robotik

Subsistem robot adalah elemen alami dari banyak aplikasi lini pemrosesan visi mesin canggih. Kemampuan untuk membedakan dan menghilangkan tergantung pada kemampuan sensor dan sistem robot untuk berkomunikasi dengan cepat dan tepat, secara real time. Sensor Hyperspec® dapat menjalankan ratusan frame per detik, artinya sensor ini sangat cocok dari sudut pandang operasional dan ekonomi untuk bekerja dengan jalur berkecepatan tinggi dan sistem robot yang tertanam di dalamnya.

Industri visi mesin memahami bahwa sarana untuk mengintegrasikan berbagai subsistem ke dalam jalur yang mulus dan terus berjalan menuntut protokol komunikasi menjadi standar industri dan cepat. Gigabit Ethernet sering digunakan untuk menyatukan semuanya dari perspektif aliran data. Sistem HSI dan komputer yang mengelola data yang masuk semuanya bekerja dengan Gigabit Ethernet, tetapi juga tautan komunikasi sangat cepat lainnya seperti CameraLink.

Pengumpulan &Pemrosesan Data

Memeriksa tanaman khusus seperti kacang-kacangan dan beri melibatkan melihat barang-barang yang sangat mirip dengan tingkat variabilitas yang kecil. Oleh karena itu, membagi sinyal atau gambar menjadi ratusan 'saluran' hiperspektral merupakan keuntungan bagi industri.

Karena kemudahan penggunaan adalah yang terpenting dan kurva pembelajaran yang curam namun cepat diperlukan, perangkat lunak Headwall intuitif dan berisi fungsi yang memungkinkan pengguna untuk memodifikasi dan menyesuaikan proses inspeksi mereka berdasarkan apa yang dilihat sensor. Proses berbasis algoritme menunjukkan dengan tepat karakteristik spektral yang mungkin ditemui pengguna. Misalnya, almond dengan kerusakan serangga hampir tidak dapat dibedakan dari almond 'baik' di bawah analisis RGB. Tetapi adegan yang sama yang diklasifikasikan menggunakan HSI akan menarik perhatian pada adegan yang rusak, yang dapat dihilangkan dengan sistem robot hilir.

Kombinasi sensor, perangkat lunak, dan alur kerja yang inovatif memungkinkan semakin banyak pengguna mengakses HSI dengan solusi nyata yang menggunakan data spektral untuk tidak hanya mendeteksi kontaminasi, tetapi juga produk 'menilai' sehingga lebih sedikit yang terbuang dan lebih banyak yang dikonversi menjadi pendapatan. Pencitraan hiperspektral membuka kemungkinan itu dalam industri visi mesin.

Sumber daya

1. “Pasar Pengujian Keamanan Pangan Berdasarkan Target yang Diuji (Patogen, Pestisida, GMO, Mikotoksin, dan Alergen), Teknologi (Tradisional dan Cepat), Uji Pangan (Daging, Unggas, Makanan Laut, Susu, Makanan Olahan, dan Buah-buahan &Sayuran), dan Wilayah - Prakiraan hingga 2026 ”, Markets and Markets, Food Safety Testing Market, Diterbitkan Mei 2021
2. “Efek kafein pada fungsi pembeda warna retina pada sukarelawan ”, Ovanesov KB. Vliani. Eksp Klin Farmakol. 1998 Nov-Des; 61 (6):17-9. PMID:9929810
3. “Penjelasan Pencitraan Multispektral vs Hiperspektral ”, GISGeography, 16 Feb 2018
4. “Buku Pegangan Machine Vision ”, Alexander Hornberg, Wiley-VCH. p. 694, 2006. ISBN 978-3-527-40584-8

Artikel ini ditulis oleh Christian Felsheim, Direktur Headwall Photonics EMEA, dan Dr. Will Rock, Senior Application Engineer, Headwall Photonics (Bolton, MA). Untuk informasi lebih lanjut, kunjungi di sini .