Arsitektur sensor bertumpuk menghadirkan kemampuan penglihatan tingkat lanjut

PARIS  — Prophesee, perusahaan rintisan berbasis di Paris yang telah memelopori sistem penglihatan neuromorfik, mempresentasikan minggu ini di International Solid-State Circuits Conference (ISSCC) di San Francisco, sensor penglihatan berbasis peristiwa baru yang dikembangkan bersama dengan Sony Corp.

Dirancang oleh teknologi event-driven Prophesee, sensor baru ini dibuat berdasarkan teknologi yang direkayasa oleh Sony untuk sensor gambar CMOS tumpuk tingkat lanjut.

Chip piksel (kiri) dan chip logika (Sumber:Prophesee)

Untuk sistem yang digerakkan oleh peristiwa, sensor baru ini menawarkan ukuran piksel terkecil di industri dan kinerja rentang dinamis tinggi (HDR) tertinggi di industri, klaim Prophesee. Sensor yang terinspirasi dari otak akan memungkinkan mesin industri, robot, dan kendaraan otonom untuk melihat dan merasakan lingkungan dengan lebih baik.

Kemitraan ini dapat menandai era baru di mana AI  — penginderaan AI dan pemrosesan AI  — dapat berlangsung sangat dekat dengan sensor, jika belum pada sensor itu sendiri, tempat data dihasilkan.

Luca Verre, CEO Prophesee

Apa untungnya bagi kedua perusahaan?

Sony adalah perusahaan sensor gambar CMOS terkemuka di dunia. Kemitraannya memberikan kredibilitas komersial pada teknologi penginderaan baru Prophesee. Luca Verre, CEO Prophesee, berharap langkah ini akan membuka pintu bagi kamera berbasis acara Prophesee ke peluang pasar massal.

“Mengingat sifat teknologi kami yang menggunakan banyak transistor, elektronik, dan fotodioda, bekerja dengan Sony selalu menjadi pilihan pertama kami,” kata Verre kepada EE Times . Perusahaan mulai bekerja sama pada tahun 2017. Verre berjanji bahwa sampel sensor penglihatan berbasis peristiwa bertumpuk pertama akan tersedia pada tahun 2020.

Kemitraan dengan Prophesee dapat menjadi game-changer bagi Sony, memberikan kesempatan bagi raksasa Jepang untuk mengeksplorasi teknologi visi yang digerakkan oleh peristiwa.

Kotak Pandora

Pierre Cambou, analis utama di Yole Développement, memandang kemitraan Prophesee-Sony setara dengan "membuka kotak Pandora".

Pierre Cambou

Dalam kamera neuromorfik yang dikembangkan oleh Prophesee, “Setiap piksel, pada dasarnya, adalah neuron,” catat Cambou. Menyebut pengembangan chip stacking “masih dalam fase awal,” Cambou memperkirakan bahwa pada akhirnya, neuron, memori, dan pemrosesan dapat ditumpuk bersama-sama. Antusiasme saat ini untuk menghadirkan lebih banyak kecerdasan ke "tepi" atau "titik akhir" menandakan suatu hari di masa depan ketika AI dirasakan dan diproses di dalam sensor.

Sony akan dapat mengembangkan sensor gambar terintegrasi AI yang “dapat menyempurnakan gambar dengan cepat”, atau membuat sensor gambar yang “secara langsung menawarkan penginderaan berbasis peristiwa,” jelas Cambou.

Faktanya, seseorang telah menerapkan jaringan saraf ke “Kedatangan Kereta di La Ciotat”  — film awal yang terkenal yang diambil oleh Lumiere Brothers pada tahun 1896  — untuk mengisi piksel yang hilang. Upaya itu memungkinkan untuk menghidupkan kembali dan meningkatkan film berusia 124 tahun ke video 4K dalam 60 bingkai per detik. Menggambarkan video yang ditingkatkan seperti semua kemarahan di Internet, Cambou menjelaskan bahwa kekuatan AI telah terbukti dengan baik di dunia pencitraan.

Pendekatan biomimikri terhadap AI merupakan alternatif dari komputasi von Neumann. “Ini akan meningkatkan kepentingannya karena AI menjadi lebih luas,” kata Cambou.

“Kedatangan kereta api di La Cicotat,” awalnya diambil oleh Lumiere Brothers pada tahun 1896, ditingkatkan menjadi 4K, 60 frame per detik, oleh Denis Shiryaev

Blok penyusun untuk sensor penglihatan berbasis peristiwa bertumpuk

Dalam sensor event-driven yang baru dirancang, chip piksel (atas) dan chip logika (bawah) ditumpuk bersama. Logikanya menggabungkan sirkuit pemrosesan sinyal yang dirancang untuk mendeteksi perubahan luminansi berdasarkan metode modulasi delta asinkron.

Setiap piksel dari dua chip individu terhubung secara elektrik menggunakan koneksi tembaga-tembaga dalam konfigurasi bertumpuk.

Hal ini memungkinkan sensor baru untuk mencapai ukuran piksel terkecil di industri (4,86μm). Ini juga memberikan resolusi HD 1280×720 tipe 1/2 dengan mencapai integrasi kepadatan tinggi dengan proses logika 40nm yang halus.

Fitur lain dari sensor event-driven baru adalah kemampuannya untuk menawarkan apa yang Prophesee klaim sebagai kinerja HDR tertinggi di industri:124 dB (atau lebih). Tim menyelesaikan ini dengan hanya menempatkan piksel bercahaya belakang dan bagian dari transistor MOS tipe-N pada chip piksel (atas). Ini meningkatkan rasio aperture hingga 77%, menurut Prophesee. Teknologi sensitivitas tinggi/noise rendah yang telah dikembangkan Sony selama bertahun-tahun untuk sensor gambar CMOS yang memungkinkan pendeteksian peristiwa dalam kondisi cahaya redup (40mlx).

Pembagian kerja?

CEO Prophesee Verre mencatat bahwa peran Sony dalam kemitraan tidak terbatas pada pengecoran. Dengan pengetahuan yang kuat dan portofolio IP sendiri dalam teknologi berbasis peristiwa, Verre berkata, “Kami datang ke meja dengan ide yang jelas tentang bagaimana kami ingin mendesain piksel.” Upaya kolaboratif kedua perusahaan memungkinkan desain sensor berbasis peristiwa baru — dari analog, logika, dan daya — dikombinasikan dengan proses manufaktur canggih Sony.

Hubungan itu juga bukan latihan R&D murni, kata Verre. Tujuannya adalah untuk mempertahankan kemitraan jangka panjang yang akan membawa teknologi ke pasar komersial sambil mengembangkan aplikasi.

Apa artinya ini bagi Sony?

Dunia memiliki banyak pemain dalam sensor pencitraan CMOS. Cambou mengamati bahwa Sony mencamkan prediksi bahwa sensor gambar CMOS “tidak lagi hanya tentang pencitraan tetapi benar-benar tentang penginderaan” — Injil yang telah lama diberitakan Cambou.

Ingat akuisisi Sony tahun 2015 atas SoftKinetic yang berbasis di Belgia, pengembang teknologi visi komputer penginderaan 3D? Cambou mengatakan bahwa akuisisi memungkinkan Sony untuk mengukir pangsa pasar yang berkembang untuk sensor time of flight (ToF) yang tiba-tiba mulai dituntut oleh vendor smartphone Android tahun lalu. Bayangkan apa yang akan terjadi pada Sony jika perusahaan tersebut tidak mencoba teknologi penginderaan mendalam saat itu, kata Cambou.

Menurutnya, kemitraan dengan Nabi tidak berbeda. Saat pemain di pasar visi mesin otomotif dan industri mulai mencari data penginderaan yang lebih kaya untuk meningkatkan operasi mereka, mereka cenderung menambahkan teknologi penginderaan baru, daripada menggunakan kamera identik lainnya.

Singkatnya, Prophesee dapat menjadi perusahaan yang memberdayakan Sony untuk memasuki pasar sensor gambar yang digerakkan oleh peristiwa, seperti halnya SoftKinetic yang memungkinkan Sony untuk mengembangkan solusi "DepthSense" dan memajukannya ke dalam smartphone.

Sekarang, dengan teknologi DepthSense, Sony memasang sensor gambar ToF ke banyak smartphone Android. Hal ini menambah keunggulan desain sensor gambar CMOS yang telah diraih Sony di kamera depan dan belakang smartphone.