Penglihatan neuromorfik menggunakan beragam aplikasi

Perusahaan visi berbasis acara Prophesee telah memamerkan beberapa aplikasi menarik untuk sensor penglihatannya dari seluruh dunia, yang mencakup biotek, analisis ilmiah, robotika, dan teknologi luar angkasa. Satu proyek memulihkan sebagian penglihatan orang buta; yang lain melacak sampah luar angkasa melintasi langit baik siang maupun malam.

Profhesee mengatakan memiliki komunitas 2200 penemu yang bekerja dengan teknologinya saat ini. Proyek-proyek tersebut dipamerkan sebagai bagian dari komunitas penemu Prophesee yang bertujuan untuk menginspirasi kreativitas masa depan. Berikut detailnya.

Memulihkan penglihatan

Gensight Biologics telah mengembalikan sebagian fungsi visual pada pasien dengan retinitis pigmentosa stadium akhir. Perawatan menggunakan kacamata khusus yang dilengkapi dengan sensor penglihatan berbasis peristiwa Prophesee.

Sebagai bagian dari terapi, retina pasien dirawat dengan protein peka cahaya yang berasal dari alga, yang membuat sel retina peka terhadap cahaya kuning (590nm). Sensor penglihatan Prophesee adalah bagian dari sepasang kacamata yang mengubah sinyal penglihatan menjadi cahaya kuning dengan intensitas tinggi yang disinari ke mata pasien. Setelah tujuh bulan menggunakan kacamata, pasien (yang sebelumnya buta total) dapat melihat dengan cukup baik untuk mendeteksi penyeberangan pejalan kaki yang ditandai di jalan. Dia mampu mengidentifikasi buku catatan di atas meja di depannya (92% dari waktu) dan kotak pensil (36% dari waktu). Dia bisa mengambil benda dan menghitungnya.

Gensight Biologics telah mengintegrasikan sensor Prophesee ke dalam kacamata yang menerjemahkan gambar dunia menjadi cahaya kuning. Sel-sel yang dimodifikasi pada retina pasien dapat mendeteksi cahaya ini dan memahaminya. (Sumber:Gensight Biologics / Prophesee)

Pasien melihat tepi bentuk berkat sensor Prophesee, yang memberikan pengalaman visual yang cepat dan halus, yang kuat untuk kondisi pencahayaan. Sensor menghasilkan data yang jarang; tidak ada waktu yang dihabiskan untuk mengkodekan ulang gambar.

Hasil dari penelitian, yang dilakukan dalam kemitraan dengan University of Basel-UPMC, diterbitkan di Nature Medicine. Meskipun pekerjaan ini hanya menyangkut satu pasien, dan masih awal, pekerjaan ini harus dilihat sebagai hasil yang signifikan untuk menerapkan teknik ini dan merawat pasien dengan penyakit neurodegeneratif dan banyak lagi.

Terapi sel

Konsultan Cambridge di Inggris telah menggunakan sensor Prophesee dalam sistem pencitraan medis untuk terapi sel. Terapi sel memiliki potensi untuk pengobatan kanker, penyakit autoimun dan neurologis, di antara aplikasinya, berdasarkan pemrograman ulang sel pasien sendiri. Memproduksi sel yang diprogram ulang adalah proses manual yang melelahkan dengan biaya dosis tunggal rata-rata $475.000.

Langkah kunci dalam proses memeriksa apakah sampel steril. Ini bisa memakan waktu 7-14 hari untuk inkubasi, sementara pasien menunggu pengobatan. Jika kontaminan terdeteksi, sampel baru harus diambil dan masa inkubasi dimulai lagi. Cambridge Consultants menggunakan sensor gambar Prophesee untuk melihat sampel di tingkat sel, dengan model AI untuk mendeteksi, melacak, dan mengklasifikasikan kontaminan secara real time (<18 md dibandingkan dengan 7-14 hari).

PureSentry menggunakan sensor Prophesee yang dikombinasikan dengan AI untuk mendeteksi kontaminan (dalam hal ini, E.coli) berdasarkan ukuran, bentuk, dan pergerakannya. (Sumber:Konsultan Cambridge)

Sistem PureSentry yang dikembangkan oleh Cambridge Consultants dapat melacak sel manusia dan kontaminan dengan presisi dan akurasi di depan teknik lainnya. Perusahaan menunjukkan video bakteri E.Coli yang terdeteksi dalam sampel berdasarkan ukuran, bentuk, dan karakteristik gerakannya. Ia bekerja dalam kondisi yang lebih sulit, seperti cahaya rendah dan laju aliran tinggi dan merupakan uji non-destruktif. Perangkat ini dapat membantu meningkatkan otomatisasi dalam proses terapi sel; teknisi yang sangat terampil tidak diperlukan.

Pelacak partikel

Sebuah tim dari Universitas Glasgow, Universitas Heriot-Watt dan Universitas Strathclyde telah menggunakan sensor gambar Prophesee untuk deteksi dan pelacakan partikel berkecepatan tinggi. Tujuannya adalah untuk membuat analisis mikofluida lebih cepat dan lebih murah.

Tim berhasil membuat profil partikel hingga 1 m dalam kecepatan fluida secepat 1,54 m/s dan menangkap data pada resolusi waktu yang setara dengan 20.000 gambar per detik. Penyiapannya menggunakan sensor penglihatan berbasis peristiwa Prophesee dengan mikroskop fluoresensi dan pencahayaan standar.

Sentuhan robot

Para peneliti di National University of Singapore menggunakan penglihatan berbasis peristiwa yang dikombinasikan dengan teknologi sensor sentuh baru untuk membangun rasa sentuhan untuk lengan dan tangan robot.

Sensor sentuh yang dikembangkan oleh peneliti, NeuTouch, merupakan rangkaian 39 sensor yang dipasang di ujung jari robot. Sensor ini menghasilkan sinyal "lonjakan", mirip dengan sensor Prophesee, yang dapat diproses oleh prosesor neuromorfik (khususnya, Intel Loihi).

Sensor NeuTouch National University of Singapore sebanding dengan ukuran jari manusia (A), terdiri dari bagian-bagian yang analog dengan tulang dan kulit (B) dan berisi 39 piksel taktil atau "taktel" (C). (Sumber:Universitas Nasional Singapura/Prophesee)

Pekerjaan ini penting karena menunjukkan cara mengintegrasikan dan mengekstraksi makna dari data dari beberapa sensor (sensor sentuh dan sensor Prophesee) pada saat yang sama, dengan cara yang sesuai untuk tugas kompleks dalam sistem yang dibatasi daya.

Robot dilatih untuk mengambil wadah dengan jumlah cairan yang berbeda; itu mampu menentukan apa cairan itu dan berapa beratnya. Informasi berat berasal dari sensor penglihatan karena cara setiap wadah berubah bentuk saat diangkat.

Robot diuji dengan “slip test” – menentukan jumlah tekanan minimum yang diperlukan untuk mencengkeram objek dengan aman. Kombinasi sensor sentuh dan penglihatan berarti sistem dapat mendeteksi slip dengan sangat cepat, 1000x lebih cepat daripada sentuhan manusia, mendeteksi slip rotasi dalam 0,08 detik.

Para peneliti berharap teknologi ini dapat digunakan untuk robotika industri dan bahkan untuk mengembalikan rasa sentuhan pada tangan palsu.

Baca Waktu EE ' laporkan tentang teknologi menarik ini di sini.

Sampah luar angkasa

Western Sydney University telah mengembangkan Astrosite, sebuah observatorium bergerak yang menggunakan teknologi Prophesee yang dikombinasikan dengan teleskop untuk melacak puing-puing ruang angkasa di orbit sekitar Bumi.

Observatorium teleskop astrosite siap dikerahkan (Sumber:Western Sydney University)

Meningkatnya jumlah satelit di orbit berarti risiko bertabrakan dengan objek lain meningkat; ada sekitar 4850 satelit di luar angkasa, tetapi hanya sekitar 40% yang aktif. Pemantauan satelit mati dan puing-puing lainnya biasanya dilakukan dengan kamera resolusi tinggi, yang tidak ideal untuk menangkap gambar di siang hari. Mereka juga menangkap sebagian besar ruang kosong, sehingga banyak data yang tidak perlu diproses.

Penginderaan berbasis peristiwa adalah solusi yang baik karena menangkap data tentang perubahan dalam bidang pandangnya. Astrosite menghasilkan 10x hingga 1000x lebih sedikit data menggunakan sensor berbasis peristiwa Prophesee daripada sistem kamera konvensional. Itu juga dapat memantau puing-puing secara terus menerus (siang dan malam) dengan resolusi waktu mikrodetik, dengan daya rendah.

>> Artikel ini awalnya diterbitkan di situs saudara kami, EE Times Europe.

---

Konten Terkait:

• Chip AI neuromorfik untuk debut jaringan saraf spiking
• Penggabungan sensor memungkinkan cengkeraman robot
• Arsitektur sensor bertumpuk menghadirkan kemampuan penglihatan tingkat lanjut
• Algoritme pembelajaran mesin mengeksploitasi variabilitas ReRAM
• Alat Naikkan Rantai Nilai untuk Menghilangkan Misteri dari Visi AI

Untuk lebih banyak Tertanam, berlangganan buletin email mingguan Tertanam.