Kamera gelombang kontinu (CW time of flight (ToF) adalah solusi kuat yang menawarkan presisi kedalaman tinggi untuk aplikasi yang membutuhkan informasi 3D berkualitas tinggi, tetapi pengembang perlu mempertimbangkan banyak faktor untuk mencapai tingkat kinerja terbaik.
Ini adalah artikel pertama dalam seri time of flight (ToF) kami yang akan memberikan gambaran umum tentang teknologi sistem kamera CMOS ToF gelombang kontinu (CW) dan keunggulannya dibandingkan solusi pencitraan 3D tradisional untuk aplikasi penglihatan mesin. Artikel selanjutnya akan membahas lebih dalam beberapa komponen tingkat sistem yang diperkenalkan dalam artikel ini, termasuk subsistem iluminasi, optik, manajemen daya, dan pemrosesan kedalaman.
Pendahuluan
Banyak aplikasi visi mesin sekarang memerlukan gambar kedalaman 3D resolusi tinggi untuk menggantikan atau menambah pencitraan 2D standar. Solusi ini mengandalkan kamera 3D untuk memberikan informasi kedalaman yang andal guna menjamin keamanan, terutama saat alat berat beroperasi dalam jarak dekat dengan manusia. Kamera juga perlu memberikan informasi kedalaman yang andal saat beroperasi di lingkungan yang menantang, seperti di ruang besar dengan permukaan yang sangat reflektif dan di hadapan objek bergerak lainnya.
Banyak produk hingga saat ini telah menggunakan solusi jenis pencari jarak resolusi rendah untuk memberikan informasi mendalam guna meningkatkan pencitraan 2D. Namun, pendekatan ini memiliki banyak keterbatasan. Untuk aplikasi yang memanfaatkan informasi kedalaman 3D resolusi lebih tinggi, kamera CW CMOS ToF memberikan solusi kinerja tertinggi di pasar. Beberapa fitur sistem yang diaktifkan oleh teknologi sensor CW ToF resolusi tinggi dijelaskan lebih rinci pada Tabel 1. Fitur sistem ini juga diterjemahkan ke kasus penggunaan konsumen seperti bokeh video, otentikasi wajah, dan aplikasi pengukuran, serta kasus penggunaan otomotif seperti sebagai pemantauan kewaspadaan pengemudi dan konfigurasi otomatis di dalam kabin.
Tabel 1. Fitur Sistem Penerbangan Waktu Gelombang Kontinu
Fitur SistemPengaktif Kedalaman presisi dan akurasi• Frekuensi modulasi
• Skema modulasi dan pemrosesan kedalaman Rentang dinamis• Suara pembacaan
• Kecepatan bingkai mentahKemudahan penggunaan• Prosedur kalibrasi
• Kompensasi suhu
• Pemantauan keamanan mataOperasi di luar ruangan• Sensitivitas pada 940 nm
• Daya iluminasi dan efisiensi Penggabungan 2D/3D• Ukuran piksel
• Kedalaman dan gambar IR 2D Pengoperasian multisistem• Pembatalan dalam piksel dari cahaya yang mengganggu
• Sinkronisasi kamera
Ikhtisar Kamera Waktu Penerbangan CMOS Gelombang Berkelanjutan
Kamera kedalaman adalah kamera di mana setiap piksel menampilkan jarak antara kamera dan pemandangan. Salah satu teknik untuk mengukur kedalaman adalah dengan menghitung waktu yang dibutuhkan cahaya untuk bergerak dari sumber cahaya pada kamera ke permukaan reflektif dan kembali ke kamera. Waktu perjalanan ini biasanya disebut sebagai waktu penerbangan (ToF).
klik untuk gambar ukuran penuh Gambar 1. Tinjauan waktu gelombang kontinu dari teknologi sensor penerbangan. (Sumber:Perangkat Analog)
Kamera ToF terdiri dari beberapa elemen (lihat Gambar 1) termasuk:
sumber cahaya—seperti laser pemancar permukaan rongga vertikal (VCSEL) atau dioda laser pemancar tepi—yang memancarkan cahaya dalam domain inframerah dekat. Panjang gelombang yang paling umum digunakan adalah 850 nm dan 940 nm. Sumber cahaya biasanya merupakan sumber difus (iluminasi banjir) yang memancarkan seberkas cahaya dengan divergensi tertentu (alias, bidang iluminasi atau FOI) untuk menerangi pemandangan di depan kamera.
pengandar laser yang memodulasi intensitas cahaya yang dipancarkan oleh sumber cahaya.
sensor dengan susunan piksel yang mengumpulkan cahaya yang kembali dari adegan dan mengeluarkan nilai untuk setiap piksel.
lensa yang memfokuskan cahaya yang kembali pada larik sensor.
filter band-pass yang ditempatkan bersama dengan lensa yang menyaring cahaya di luar bandwidth sempit di sekitar panjang gelombang sumber cahaya.
algoritme pemrosesan yang mengubah bingkai mentah keluaran dari sensor menjadi gambar mendalam atau awan titik.
Seseorang dapat menggunakan beberapa pendekatan untuk memodulasi cahaya dalam kamera ToF. Pendekatan sederhana adalah dengan menggunakan modulasi gelombang kontinu—misalnya, modulasi gelombang persegi dengan siklus kerja 50%. Dalam praktiknya, bentuk gelombang laser jarang merupakan gelombang persegi yang sempurna dan mungkin terlihat lebih dekat ke gelombang sinus. Bentuk gelombang laser persegi menghasilkan rasio signal-to-noise yang lebih baik untuk daya optik tertentu, tetapi juga menimbulkan kesalahan nonlinier kedalaman karena adanya harmonik frekuensi tinggi.
Kamera CW ToF mengukur perbedaan waktu td antara sinyal yang dipancarkan dan sinyal kembali dengan memperkirakan offset fasa =2πftd antara dasar-dasar dari dua sinyal. Kedalaman dapat diperkirakan dari offset fase (ϕ) dan kecepatan cahaya (c) menggunakan:
di mana fmod adalah frekuensi modulasi.
Sirkuit pembuatan jam di sensor mengontrol jam piksel pelengkap yang masing-masing mengontrol akumulasi muatan foto di dua elemen penyimpanan muatan (Ketuk A dan Ketuk B), serta sinyal modulasi laser ke driver laser. Fase cahaya termodulasi yang kembali dapat diukur relatif terhadap fase jam piksel (lihat sisi kanan Gambar 1). Muatan diferensial antara Ketuk A dan Ketuk B dalam piksel sebanding dengan intensitas cahaya termodulasi yang kembali dan dengan fase cahaya termodulasi yang kembali relatif terhadap jam piksel.
Menggunakan prinsip deteksi homodyne, pengukuran dibuat dengan beberapa fase relatif antara jam piksel dan sinyal modulasi laser. Pengukuran ini digabungkan untuk menentukan fase fundamental dalam sinyal cahaya termodulasi kembali. Mengetahui fase ini memungkinkan penghitungan waktu yang dibutuhkan cahaya untuk bergerak dari sumber cahaya ke objek yang diamati dan kembali ke piksel sensor.
Keuntungan dari Frekuensi Modulasi Tinggi
Dalam praktiknya, ada ketidakidealan seperti kebisingan tembakan foton, kebisingan sirkuit pembacaan, dan interferensi multipath yang dapat menyebabkan kesalahan dalam pengukuran fase. Memiliki frekuensi modulasi yang tinggi akan mengurangi dampak kesalahan tersebut pada estimasi kedalaman.
Ini mudah dipahami dengan mengambil contoh sederhana di mana ada kesalahan fase ϕ —yaitu, fase yang diukur oleh sensor adalah =+ ϕ . Kesalahan kedalamannya adalah:
Oleh karena itu, kesalahan kedalaman berbanding terbalik dengan frekuensi modulasi, fmod . Ini diilustrasikan secara grafis pada Gambar 2.
klik untuk gambar ukuran penuh Gambar 2. Pengaruh kesalahan fasa terhadap pendugaan jarak. (Sumber:Perangkat Analog)
Rumus sederhana ini menjelaskan sebagian besar mengapa kamera ToF dengan frekuensi modulasi tinggi memiliki noise kedalaman yang lebih rendah dan kesalahan kedalaman yang lebih kecil daripada kamera ToF dengan frekuensi modulasi yang lebih rendah.
Salah satu kelemahan menggunakan frekuensi modulasi tinggi adalah fase membungkus lebih cepat, yang berarti rentang yang dapat diukur secara jelas lebih pendek. Cara umum untuk mengatasi keterbatasan ini adalah dengan menggunakan beberapa frekuensi modulasi yang membungkus pada tingkat yang berbeda. Frekuensi modulasi terendah memberikan rentang yang besar tanpa ambiguitas tetapi kesalahan kedalaman yang lebih besar (noise, interferensi multipath, dll.), sedangkan frekuensi modulasi yang lebih tinggi digunakan bersama-sama untuk mengurangi kesalahan kedalaman. Contoh skema ini dengan tiga frekuensi modulasi yang berbeda ditunjukkan pada Gambar 3. Estimasi kedalaman akhir dihitung dengan menimbang estimasi fase yang tidak dibungkus untuk frekuensi modulasi yang berbeda, dengan bobot yang lebih tinggi diberikan ke frekuensi modulasi yang lebih tinggi.
klik untuk gambar ukuran penuh Gambar 3. Pembukaan fase multi frekuensi. (Sumber:Perangkat Analog)
Jika bobot untuk setiap frekuensi dipilih secara optimal, kebisingan kedalaman berbanding terbalik dengan kuadrat rata-rata akar (rms) dari frekuensi modulasi yang dipilih dalam sistem. Untuk anggaran kebisingan kedalaman yang konstan, peningkatan frekuensi modulasi memungkinkan pengurangan waktu integrasi atau daya iluminasi.
Aspek Sistem Lainnya yang Penting untuk Performa
Ada banyak fitur sistem yang perlu dipertimbangkan saat mengembangkan kamera ToF performa tinggi, beberapa di antaranya dibahas secara singkat di sini.
Sensor Gambar
Sensor gambar adalah komponen utama dalam kamera ToF. Efek dari sebagian besar ketidakidealan estimasi kedalaman (misalnya, bias, noise kedalaman, dan artefak multipath) berkurang ketika frekuensi modulasi rata-rata sistem meningkat. Oleh karena itu penting bahwa sensor memiliki kontras demodulasi yang tinggi (kemampuan untuk memisahkan fotoelektron antara Tap A dan Tap B) pada frekuensi modulasi tinggi (ratusan MHz). Sensor juga harus memiliki efisiensi kuantum tinggi (QE) pada panjang gelombang inframerah-dekat (misalnya, 850 nm dan 940 nm), sehingga daya optik yang dibutuhkan untuk menghasilkan fotoelektron dalam piksel lebih sedikit. Terakhir, noise pembacaan yang rendah membantu jangkauan dinamis kamera dengan memungkinkan untuk mendeteksi sinyal balik yang rendah (objek dengan reflektifitas jauh atau rendah).
Iluminasi
Driver laser memodulasi sumber cahaya (misalnya, VCSEL) pada frekuensi modulasi tinggi. Untuk memaksimalkan jumlah sinyal yang berguna pada piksel untuk daya optik tertentu, bentuk gelombang optik harus memiliki waktu naik dan turun yang cepat dengan tepi yang bersih. Kombinasi laser, driver laser, dan tata letak PCB dalam subsistem iluminasi sangat penting untuk mencapai hal ini. Ada juga beberapa karakterisasi yang diperlukan untuk menemukan daya optik optimal dan pengaturan siklus kerja untuk memaksimalkan amplitudo fundamental dalam transformasi Fourier dari bentuk gelombang modulasi. Terakhir, daya optik juga perlu disalurkan dengan cara yang aman dengan beberapa mekanisme keamanan yang terpasang di driver laser dan tingkat sistem untuk memastikan batas keselamatan mata Kelas 1 selalu dipatuhi.
Optik
Optik memainkan peran kunci dalam kamera ToF. Kamera ToF memiliki karakteristik berbeda tertentu yang mendorong kebutuhan optik khusus. Pertama, bidang iluminasi sumber cahaya harus sesuai dengan bidang pandang lensa untuk efisiensi optimal. Penting juga bahwa lensa itu sendiri harus memiliki aperture tinggi (f/# rendah) untuk efisiensi pengumpulan cahaya yang lebih baik. Aperture besar dapat menyebabkan trade-off lain di sekitar vignetting, depth of field yang dangkal, dan kompleksitas desain lensa. Desain lensa sudut sinar kepala rendah juga dapat membantu mengurangi bandwidth filter band-pass, yang meningkatkan penolakan cahaya sekitar dan karenanya meningkatkan kinerja luar ruangan. Subsistem optik juga harus dioptimalkan untuk panjang gelombang operasi yang diinginkan (misalnya, pelapis anti-reflektif, desain filter band-pass, desain lensa) untuk memaksimalkan efisiensi keluaran dan meminimalkan cahaya yang menyimpang. Ada juga banyak persyaratan mekanis untuk memastikan keselarasan optik berada dalam toleransi yang diinginkan untuk aplikasi akhir.
Manajemen Daya
Manajemen daya juga sangat penting dalam desain modul kamera 3D ToF berkinerja tinggi. Modulasi laser dan modulasi piksel menghasilkan semburan pendek arus puncak tinggi, yang menempatkan beberapa kendala pada solusi manajemen daya. Ada beberapa fitur pada tingkat sirkuit terpadu (IC) sensor yang dapat membantu mengurangi konsumsi daya puncak pencitra. Ada juga teknik manajemen daya yang dapat diterapkan di tingkat sistem untuk membantu memudahkan persyaratan pada sumber daya (misalnya, baterai atau USB). Suplai analog utama untuk imager ToF biasanya memerlukan regulator dengan respons transien yang baik dan noise rendah.
klik untuk gambar ukuran penuh Gambar 4. Arsitektur sistem optik. (Sumber:Perangkat Analog)
Algoritma Pemrosesan Kedalaman
Akhirnya, bagian besar lainnya dari desain tingkat sistem adalah algoritma pemrosesan kedalaman. Sensor gambar ToF mengeluarkan data piksel mentah dari mana informasi fase perlu diekstraksi. Operasi ini memerlukan langkah-langkah berbeda yang mencakup penyaringan kebisingan dan pembukaan bungkus fase. Output dari phase unwrapping block adalah pengukuran jarak yang ditempuh oleh cahaya dari laser, ke adegan, dan kembali ke piksel, yang sering disebut jarak jangkauan atau radial.
Jarak radial umumnya diubah menjadi informasi titik awan, yang mewakili informasi untuk piksel tertentu dengan koordinat dunia nyata (X,Y,Z). Seringkali, aplikasi akhir hanya menggunakan peta gambar Z (peta kedalaman) alih-alih cloud titik penuh. Mengubah jarak radial menjadi titik awan membutuhkan pengetahuan intrinsik lensa dan parameter distorsi. Parameter tersebut diperkirakan selama kalibrasi geometrik modul kamera. Algoritme pemrosesan kedalaman juga dapat mengeluarkan informasi lain seperti gambar kecerahan aktif (amplitudo sinyal laser kembali), gambar IR 2D pasif, dan tingkat kepercayaan, yang semuanya dapat digunakan dalam aplikasi akhir. Pemrosesan kedalaman dapat dilakukan pada modul kamera itu sendiri atau pada prosesor host di tempat lain dalam sistem.
Ikhtisar berbagai komponen tingkat sistem yang tercakup dalam artikel ini ditunjukkan pada Tabel 2. Topik ini akan dibahas secara lebih rinci di artikel mendatang.
Tabel 2. Komponen Tingkat Sistem dari Kamera Waktu Penerbangan 3D
Komponen Tingkat SistemFitur Utama Pencitraan ToFResolusi, kontras demodulasi tinggi, efisiensi kuantum tinggi, frekuensi modulasi tinggi, kebisingan pembacaan rendahSumber IluminasiDaya optik tinggi, frekuensi modulasi tinggi, fitur keselamatan mataOktikEfisiensi pengumpulan cahaya tinggi, cahaya nyasar minimal, bandwidth sempitManajemen DayaKebisingan rendah , respons transien yang baik, efisiensi tinggi, menghasilkan daya puncak tinggi Pemrosesan Kedalaman Daya rendah, mendukung berbagai jenis keluaran informasi mendalam
Kesimpulan
Waktu gelombang terus menerus dari kamera penerbangan adalah solusi kuat yang menawarkan presisi kedalaman tinggi untuk aplikasi yang membutuhkan informasi 3D berkualitas tinggi. Ada banyak faktor yang perlu dipertimbangkan untuk memastikan bahwa tingkat kinerja terbaik tercapai. Faktor-faktor seperti frekuensi modulasi, kontras demodulasi, efisiensi kuantum, dan kebisingan pembacaan menentukan kinerja pada tingkat sensor gambar. Faktor lainnya adalah pertimbangan tingkat sistem, yang mencakup subsistem iluminasi, desain optik, manajemen daya, dan algoritma pemrosesan kedalaman. Semua komponen tingkat sistem ini sangat penting untuk mencapai sistem kamera 3D ToF presisi tertinggi. Topik tingkat sistem ini akan dibahas secara lebih rinci dalam artikel berikutnya. Untuk informasi lebih lanjut tentang penawaran produk ToF ADI, kunjungi analog.com/tof.
Paul O'Sullivan adalah seorang insinyur sistem dengan Perangkat Analog di Santa Clara, California. Dia bergabung dengan Analog Devices di Irlandia pada tahun 2004 di mana dia bekerja di berbagai peran pengembangan pengujian dan rekayasa aplikasi sebelum pindah ke California pada tahun 2016 untuk mengerjakan proyek teknologi canggih untuk aplikasi konsumen. Dia telah bekerja pada pengembangan dan kalibrasi modul kamera 3D ToF sejak 2019. Dia memegang gelar B.E. gelar dari University College Cork dan M.Eng. dari Universitas Limerick, Irlandia. Dia dapat dihubungi di [email protected].Nicolas Le Dortz adalah manajer teknik sistem di Grup Teknologi Time of Flight (ToF) di Analog Devices. Dalam peran ini, ia mengawasi pengembangan penawaran teknologi ToF ADI, menjembatani tim lintas fungsi yang terlibat dalam memberikan sistem kamera ToF dan menghadirkan kinerja luar biasa bagi pelanggan Perangkat Analog. Dia menerima gelar M.S. di bidang teknik elektro dari Ecole Polytechnique, Prancis, pada tahun 2010, gelar M.S. dalam mikroelektronika dari KTH, Swedia, pada tahun 2012, dan gelar Ph.D. dalam teknik elektro dari Ecole Centrale-Supelec, Prancis, pada 2015, dan dia adalah peneliti tamu di UC Berkeley dari 2013 hingga 2014. Dia bersemangat bekerja dengan pelanggan untuk menciptakan inovasi seputar penginderaan mendalam dengan menyatukan berbagai disiplin ilmu seperti visi komputer, pemrosesan sinyal, desain sirkuit terpadu, pengembangan perangkat lunak, dan desain optik. Dia dapat dihubungi di [email protected].
Konten Terkait:
Alat Naikkan Rantai Nilai untuk Menghilangkan Misteri dari Visi AI
Membangun aplikasi IoT yang efektif dengan tinyML dan pembelajaran mesin otomatis
Teknologi waktu penerbangan menjanjikan peningkatan akurasi
Sensor waktu terbang inframerah-dekat mengurangi gangguan sinar matahari
Platform lidar mendukung deteksi hunian, jarak sosial
Sensor ToF menawarkan deteksi 3D yang cepat
Sensor waktu terbang ultrasonik menawarkan jangkauan 1 meter
Untuk lebih banyak Tertanam, berlangganan buletin email mingguan Tersemat.
Paul O'Sullivan adalah seorang insinyur sistem dengan Perangkat Analog di Santa Clara, California. Dia bergabung dengan Analog Devices di Irlandia pada tahun 2004 di mana dia bekerja di berbagai peran pengembangan pengujian dan rekayasa aplikasi sebelum pindah ke California pada tahun 2016 untuk mengerjakan proyek teknologi canggih untuk aplikasi konsumen. Dia telah bekerja pada pengembangan dan kalibrasi modul kamera 3D ToF sejak 2019. Dia memegang gelar B.E. gelar dari University College Cork dan M.Eng. dari Universitas Limerick, Irlandia. Dia dapat dihubungi di 
Nicolas Le Dortz adalah manajer teknik sistem di Grup Teknologi Time of Flight (ToF) di Analog Devices. Dalam peran ini, ia mengawasi pengembangan penawaran teknologi ToF ADI, menjembatani tim lintas fungsi yang terlibat dalam memberikan sistem kamera ToF dan menghadirkan kinerja luar biasa bagi pelanggan Perangkat Analog. Dia menerima gelar M.S. di bidang teknik elektro dari Ecole Polytechnique, Prancis, pada tahun 2010, gelar M.S. dalam mikroelektronika dari KTH, Swedia, pada tahun 2012, dan gelar Ph.D. dalam teknik elektro dari Ecole Centrale-Supelec, Prancis, pada 2015, dan dia adalah peneliti tamu di UC Berkeley dari 2013 hingga 2014. Dia bersemangat bekerja dengan pelanggan untuk menciptakan inovasi seputar penginderaan mendalam dengan menyatukan berbagai disiplin ilmu seperti visi komputer, pemrosesan sinyal, desain sirkuit terpadu, pengembangan perangkat lunak, dan desain optik. Dia dapat dihubungi di