Bagaimana Teknologi 3D Vision Merevolusi Otomasi Modern

3D vision berada di jantung otomasi modern yang meningkatkan proses industri dalam hitungan cara dan membuat hidup kita lebih mudah. Ini membantu kita mengurutkan produk, memeriksa objek dalam aplikasi kontrol kualitas dan menemukan cacat pada mereka, dan juga menyelesaikan berbagai tugas lebih cepat dan lebih efisien daripada yang bisa dilakukan manusia. Robot dengan bimbingan vision biasanya digunakan untuk melakukan tugas berbahaya dan menangani objek berat, sehingga mereka juga meningkatkan keselamatan dan menghilangkan risiko cedera.

Teknologi penginderaan 3D telah melalui perjalanan panjang untuk memberikan semua manfaat yang kita nikmati saat ini – dan mereka masih bergerak maju. Dari foto pertama hingga citra digital, dari 2D hingga 3D, dan dari pemindaian 3D objek statis hingga tangkapan adegan dinamis. Apa yang akan datang selanjutnya?

Bersama dengan Tomas Kovacovsky, pendiri dan CTO dari Grup Photoneo, kami melihat sejarah 3D machine vision hingga kemajuan terbaru yang mendominasi tren saat ini seperti Industry 4.0. Mari kita lihat secara singkat.

Fotografi dan teknologi pertama untuk tangkapan citra

Sejak awalnya, orang telah terpesona dengan kemampuan untuk menangkap dan merekam peristiwa. Foto pertama yang dikenal diambil di suatu tempat antara 1826 dan 1827 oleh penemu Prancis Joseph Nicéphore Niépce. Meskipun proses fotografinya memerlukan paling tidak delapan jam jika tidak beberapa hari paparan di kamera, rekan kerjanya Louis Daguerre mengembangkan proses fotografi pertama yang diumumkan secara umum (dikenal sebagai Daguerreotype) yang hanya memakan waktu menit paparan. Penemuan diperkenalkan kepada publik pada 1839 – tahun yang secara umum dianggap kelahiran fotografi praktis.

Selama waktu yang lama, fotografi hanya berfungsi sebagai media untuk merekam peristiwa. Karena proses citra memakan waktu cukup lama, teknologi analog tidak ideal untuk digunakan untuk tugas machine vision atau pengambilan keputusan.

Pada tahun 1969, William Boyle dan George E. Smith dari Bell Laboratories Amerika menciptakan sensor CCD (charge-coupled device) untuk merekam citra, yang merupakan tonggak penting dalam pengembangan citra digital. Sensor CCD menangkap citra dengan mengubah foton menjadi elektron – yaitu, ia mengambil cahaya dan menerjemahkannya menjadi data digital. Meskipun CCD tidak dapat menandingi film standar untuk tangkapan citra pada waktu itu, mereka mulai digunakan untuk aplikasi tertentu dan bola mulai bergulir.

Dari 2D ke 3D

Penginderaan 2D meluncurkan era otomasi dan itu adalah pendekatan yang meluas dalam otomasi sektor industri selama waktu yang lama. 2D vision digunakan dalam beberapa aplikasi sederhana bahkan saat ini, termasuk yang berikut:

• Pengenalan karakter optik (OCR) – membaca teks yang diketik, ditulis tangan, atau dicetak; pembacaan barcode
• Kontrol kualitas – sering digunakan dalam kombinasi dengan pencahayaan khusus untuk memastikan kualitas optik objek yang dipindai tetap sama
• Menghitung
• Pengambilan item dalam kondisi yang ditentukan dengan baik

Namun, keterbatasan utama teknologi 2D adalah mereka tidak dapat mengenali bentuk objek atau mengukur jarak dalam dimensi Z.

Aplikasi 2D memerlukan kondisi yang baik dan ditentukan dengan baik dengan pencahayaan tambahan, yang juga membatasi aplikasi seperti bin picking. Tugas robotika ini dapat dilakukan dengan sistem vision 2D tetapi umumnya bermasalah karena posisi acak objek dalam kotak dan sejumlah besar informasi dalam adegan yang tidak dapat ditangani oleh sistem vision 2D.

Orang mengakui kebutuhan akan informasi 3D untuk dapat mengotomatisasi tugas yang lebih kompleks. Mereka memahami bahwa manusia dapat melihat lingkungan mereka dalam tampilan 3D dan memberi tahu jarak objek karena mereka memiliki dua mata – visi stereoskopis.

Pada tahun 1960-an, Larry Roberts, yang dianggap sebagai Bapa Computer Vision, menggambarkan bagaimana mendapatkan informasi geometri 3D dari foto 2D garis dan bagaimana komputer dapat membuat model 3D dari satu foto 2D.

Pada tahun 1970-an, kursus “Machine Vision” dimulai di Laboratorium Kecerdasan Buatan MIT untuk menangani tugas machine vision tingkat rendah. Di sini, David Marr mengembangkan pendekatan unik untuk pemahaman adegan melalui computer vision, di mana ia memandang visi sebagai sistem pemrosesan informasi. Pendekatannya dimulai dengan sketsa 2D, yang kemudian dikembangkan oleh komputer untuk mendapatkan citra 3D akhir.

Penelitian dalam machine vision intens pada tahun 1980-an dan menghasilkan teori dan konsep baru. Ini melahirkan sejumlah teknologi machine vision 3D yang berbeda, yang secara bertahap telah diadopsi di lingkungan industri dan manufaktur untuk mengotomatisasi berbagai macam proses.

Teknologi 3D vision pertama

Upaya untuk meniru visi stereoskopis manusia menghasilkan pengembangan salah satu teknologi penginderaan 3D pertama – passive stereo. Metode triangulasi ini mengamati adegan dari dua titik pandang dan menghitung segitiga kamera – objek yang dipindai – kamera, mencari korelasi antara dua citra. Berdasarkan perbedaan antara citra, ia menghitung jarak (kedalaman) dari objek yang dipindai. Namun, pendekatan ini bergantung pada menemukan detail yang identik dalam citra sehingga tidak bekerja dengan baik pada dinding putih atau adegan tanpa pola. Keandalan passive stereo kecil dan keluaran 3D biasanya memiliki kebisingan tinggi dan membutuhkan banyak daya komputasi.

Untuk mengakali kelemahan ini, peneliti mulai bereksperimen dengan memproyeksikan pola cahaya ke adegan untuk menciptakan tekstura buatan pada permukaan dan mengidentifikasi korespondensi dalam adegan dengan lebih mudah. Metode ini disebut active stereo. Meskipun metode ini lebih andal daripada passive stereo, kualitas rekonstruksi seringkali terpengaruh oleh persyaratan waktu pemrosesan yang ketat, yang membuatnya tidak cukup untuk banyak aplikasi.

Salah satu metode paling awal dan masih sangat populer untuk mendapatkan informasi 3D adalah laser profilometry. Teknik ini memproyeksikan gelondong cahaya sempit (atau titik) ke permukaan 3D, yang menghasilkan garis penerangan yang tampak terdistorsi dari sudut selain yang dari proyektor. Deviasi ini mengenkode informasi kedalaman. Line scanner menangkap satu profil kedalaman pada satu waktu dalam urutan cepat, yang mengharuskan objek yang dipindai atau kamera untuk terus bergerak. Laser profilometry adalah salah satu metode pemindaian 3D pertama yang diadopsi untuk penggunaan industri dan masih sangat populer dalam aplikasi metrologi, misalnya.

Metode lain yang ditemukan dengan memproyeksikan pola cahaya terstruktur ke adegan adalah structured light. Salah satu karya yang paling banyak dikutip yang membahas penggunaan structured light dengan kode biner untuk restorasi digital adalah The Digital Michelangelo Project dipimpin oleh Marc Levoy dan timnya di Universitas Stanford. Proyek dimulai pada tahun 1998 untuk digitalisasi patung Michelangelo dengan menggunakan proyektor dan sensor kamera. Data laser scan untuk David Michelangelo kemudian digunakan untuk restorasi patung yang dimulai pada tahun 2002. Meskipun metode yang digunakan dalam proyek ini tidak cukup cepat untuk digunakan dalam aplikasi real-time, itu memberikan akurasi sangat tinggi yang diperlukan untuk digitalisasi berbagai artefak dan objek. Berkat ini, teknologi menemukan niknya dalam aplikasi metrologi dan tugas robotika dan machine vision lain yang memerlukan presisi pemindaian tinggi.

Secara bertahap, teknologi structured light meluas di luar metrologi dan menembus semua jenis aplikasi online menggunakan robot dengan bimbingan vision. Keuntungan scanner 3D structured light adalah mereka tidak memerlukan gerakan. Karena mereka dapat membuat tangkapan seluruh area pemindaian dan seseorang tidak perlu pergi ke seluruh objek dengan scanner, mereka lebih cepat daripada perangkat berdasarkan laser profilometry dan tidak memerlukan banyak pemrosesan data pasca.

Dari adegan statis ke dinamis

Tangkapan gerakan jauh lebih menantang daripada pemindaian 3D adegan statis dan menonaktifkan metode yang memerlukan waktu akuisisi lebih lama.

Karena passive stereo adalah metode pasif yang tidak menggunakan pencahayaan tambahan, itu dapat digunakan untuk menangkap adegan dinamis tetapi hanya jika beberapa kondisi terpenuhi. Meskipun demikian, hasilnya tidak akan bagus.

Laser profilometry bukan metode yang jauh lebih berhasil daripada passive stereo dalam hal ini. Karena ia menangkap satu profil pada satu waktu, untuk membuat tangkapan lengkap adegan, kamera atau adegan perlu bergerak. Namun, teknologi tidak dapat menangkap peristiwa dinamis. Untuk merekonstruksi kedalaman untuk satu profil, ia memerlukan tangkapan citra scan area sempit, di mana ukurannya membatasi frame rate dan pada gilirannya juga kecepatan pemindaian.

Structured light sistem, di sisi lain, memproyeksikan beberapa pola cahaya ke adegan dalam urutan, satu demi satu. Untuk ini, adegan perlu statis. Jika objek yang dipindai atau kamera bergerak, kode akan terputus dan awan titik 3D akan terdistorsi.

Kebutuhan akan rekonstruksi 3D objek dinamis menghasilkan pengembangan sistem Time-of-Flight (ToF) . Mirip dengan teknologi structured light, ToF adalah metode aktif yang mengirim sinyal cahaya ke adegan dan kemudian menafsirkan sinyal dengan kamera dan perangkat lunaknya. Berbeda dengan structured light, ToF mengstruktur cahaya dalam waktu dan bukan dalam ruang. Ini bekerja pada prinsip pengukuran waktu selama sinyal cahaya yang dipancarkan dari sumber cahaya mengenai objek yang dipindai dan kembali ke sensor.

Sistem ToF awal memiliki kualitas yang cukup rendah. Pemain besar di bidang ini termasuk perusahaan seperti Canesta, 3DV Systems, atau Microsoft (yang kemudian meredeli kedua perusahaan tersebut). Salah satu proyek awal yang terkenal adalah ZCam – kamera Time-of-Flight yang dikembangkan oleh 3DV dan kemudian dibeli oleh Microsoft untuk digunakan dalam akuisisi informasi 3D dan interaksi dengan objek virtual di konsol video game Microsoft Xbox.

Pada tahun 2010, Microsoft merilis sistem sensor Kinect untuk Xbox, kamera pengindera gerakan yang didasarkan pada teknologi PrimeSense. Teknologi PrimeSense menggunakan pola terstruktur untuk mengenkode piksel tertentu (bukan semuanya) dan mendapatkan informasi 3D. Meskipun metode ini tidak dapat memberikan resolusi tinggi dan kontur detail di tepi objek yang dipindai, itu diadopsi luas karena kecepatan pemrosesannya cukup cepat dan teknologi juga sangat terjangkau. Ini terutama digunakan di bidang akademis tetapi hampir juga dapat ditemukan di lingkungan industri untuk picking robotik dan tugas lainnya.

Berbeda dengan Kinect 1, Kinect 2 didasarkan pada teknologi ToF. Kemajuan dalam ToF menyebabkan metode ini semakin populer dan diadopsi luas – ia dapat memberikan kualitas yang lebih tinggi daripada teknologi PrimeSense, namun resolusi scan 3D adegan dinamis masih belum cukup.

Sistem ToF saat ini cukup populer dalam aplikasi 3D vision berkat kecepatan pemindaian yang cepat dan akuisisi hampir real-time. Namun, resolusinya masih menjadi masalah dan mereka juga berhadapan dengan tingkat kebisingan yang lebih tinggi.

Pada tahun 2013, Photoneo hadir dengan ide revolusioner bagaimana menangkap objek yang bergerak cepat untuk mendapatkan informasi 3D dengan resolusi tinggi dan akurasi submilimeter.

Teknologi yang dipatenkan Parallel Structured Light didasarkan pada sensor CMOS khusus dan miliknya yang menampilkan shutter multi-tap dengan pola piksel mosaik, yang secara fundamental mengubah cara citra dapat diambil.

Pendekatan snapshot baru ini menggunakan structured light namun menukar peran kamera dan proyektor: Sementara sistem structured light memancarkan beberapa pola dari proyektor dalam urutan, teknologi Parallel Structured Light mengirim sapu laser yang sangat sederhana, tanpa pola, di seluruh adegan dan membangun pola di sisi lain – di dalam sensor CMOS. Semua ini terjadi dalam satu waktu tunggal dan memungkinkan pembentukan beberapa citra virtual dalam satu jendela paparan. Hasilnya adalah citra 3D dengan resolusi tinggi dan akurasi tinggi dari adegan bergerak tanpa artefak gerakan.

Adegan dinamis yang ditangkap oleh teknologi Parallel Structured Light.

Teknologi Parallel Structured Light diimplementasikan dalam kamera 3D Photoneo MotionCam-3D. Pengembangan kamera dan peluncurannya ke pasar menandai tonggak penting dalam sejarah machine vision karena itu menentukan ulang robotika dengan bimbingan vision dan memperluas kemungkinan otomasi ke tingkat yang tak tertandingi. Pendekatan baru ini diakui dengan banyak penghargaan, termasuk Vision Award 2018, Vision Systems Design Innovators Platinum Award 2019, inVision Top Innovations 2019, IERA Award 2020, Robotics Business Review’s RBR50 Robotics Innovation Awards 2021, inVision Top Innovations 2021, dan SupplyTech Breakthrough Award 2022.

Pemindaian 3D dalam gerakan dan warna

Pada tahun 2022 Photoneo memperluas kemampuan MotionCam-3D dengan melengkapinya dengan unit warna untuk tangkapan data warna. MotionCam-3D Color dianggap sebagai peluru perak berikutnya dalam machine vision karena akhirnya memungkinkan pembuatan awan titik 3D berwarna secara real-time dari adegan bergerak dengan kualitas sempurna. Berkat kombinasi unik geometri 3D, gerakan, dan warna, kamera membuka pintu untuk aplikasi AI yang menuntut dan tugas robotika yang tidak hanya bergantung pada informasi kedalaman tetapi juga data warna.

Pembuatan awan titik 3D berwarna secara real-time dari adegan bergerak menggunakan MotionCam-3D Color.

Area aplikasi yang diaktifkan oleh inovasi machine vision

Kemungkinan yang ditawarkan oleh inovasi terbaru dalam machine vision 3D memungkinkan kita untuk mengotomatisasi tugas yang sebelumnya tidak dapat dilakukan. Aplikasi ini dapat ditemukan di manufaktur, logistik, otomotif, eceran, pertanian, kedokteran, dan sektor lain dan mencakup:

• Penanganan robotik objek dalam gerakan konstan atau acak
• Pengambilan dari sabuk pengangkut dan pengangkut overhead
• Manipulasi mata-tangan
• Pembuatan model 3D untuk inspeksi dan kontrol kualitas
• Pembersihan dan pengecatan objek besar
• Operasi pemeliharaan di VR/AR
• Pengurutan dan panen di pertanian
• Dan banyak lagi

Apa yang akan datang selanjutnya?

Machine vision terus berkembang untuk membawa kemajuan baru dengan kemungkinan baru. Arah inovasi selalu dipengaruhi oleh permintaan pasar, harapan pelanggan, kompetisi, dan faktor lainnya.

Kita dapat mengharapkan tren penerapan AI di semua area machine vision akan tentu bertujuan untuk menghilangkan pengembangan algoritma khusus. Kita dapat melihat potensi besar di area kecerdasan buatan (AI) dan kombinasinya dengan teknologi Parallel Structured Light. Salah satu sisi, AI bergantung pada data yang baik. Di sisi lain, teknologi machine vision baru dapat memberikan sejumlah besar data 3D nyata berkualitas tinggi. Menggabungkan kedua pendekatan ini dapat mengubah robotika cerdas dan membuka wilayah kemungkinan baru.

Arah yang menjanjikan dari perkembangan masa depan adalah edge computing. Produsen kemungkinan besar akan terus berusaha untuk mengintegrasikan AI langsung ke dalam sensor dan menyelaraskannya untuk tujuan yang ditentukan (misalnya, penghitungan orang, pengukuran dimensi, atau deteksi otomatis fitur objek yang ditentukan), sehingga memudahkan penerapan bagi integrator dan meminimalkan kebutuhan akan komponen tambahan. Solusi perangkat keras baru yang mampu menangkap adegan bergerak digabungkan dengan algoritma AI canggih akan memperluas bidang aplikasi yang semakin lebar bahkan di area yang lebih menantang seperti robotika kolaborasi atau otomatisasi logistik lengkap.