Bagaimana Robot Swarm Memetakan Lingkungan: Tanya Jawab dengan Dr. David Lary

Dr. David Lary dari University of Texas at Dallas memimpin tim penelitian yang telah mengembangkan tim perangkat robot otonom yang dapat digunakan di lokasi berbahaya atau sulit dijangkau untuk melakukan survei dan mengumpulkan data — memberikan wawasan lebih banyak dan lebih cepat daripada yang dapat dilakukan oleh manusia.

Tech Briefs: Apa yang menginspirasi Anda untuk menggunakan beberapa perangkat otonom untuk mengumpulkan kumpulan data lingkungan yang holistik?

Dr. David Lary: Nah, ada dua bagian dari perjalanan itu. Pertama adalah passion yang mendorong saya. Saya sangat ingin memiliki penginderaan holistik yang komprehensif untuk menjaga orang dari bahaya sehingga dapat ada wawasan yang dapat ditindaklanjuti untuk membuat keputusan tepat waktu. Itu motivasi saya, tetapi perjalanan sebenarnya bagi saya hingga titik ini dimulai beberapa tahun yang lalu — well, hampir 30 tahun yang lalu.

Ketika saya melakukan PhD saya di Cambridge, orang yang sangat dekat, yang menemukan lubang ozon, adalah seorang yang bernama Joe Farman. Jadi, untuk PhD saya saya mengembangkan model global 3 dimensi pertama untuk depletasi ozon. Itu adalah modul kimia yang merupakan plug-in untuk model global yang digunakan oleh European Centre for Medium Range weather forecasting. Dengan plug-in saya saya dapat melakukan simulasi global untuk kimia terkait ozon. Dan jadi, pertanyaan yang jelas yang ingin saya tanyakan adalah: seberapa baik model ini? Untuk memverifikasinya saya harus menggabungkan sebanyak mungkin sumber data: satelit, pesawat, sensor berbasis tanah, dan balon. Salah satu hal yang menakutkan yang saya hadapi adalah inter-instrument bias. Jadi, saya mencari cara untuk membantu menangani bias ini. Meskipun ini 30 tahun yang lalu, saya cukup kebetulan menemukan machine learning. Ini sebelum mencapai adopsi besar yang dimilikinya saat ini, dan saya menemukan bahwa ia melakukan pekerjaan yang sangat baik. Itu memulai saya untuk melihat apa lagi yang bisa kita lakukan dengannya. Di jalan, kami adalah orang pertama yang mengembangkan chemical data assimilation, yang sekarang digunakan oleh agensi di seluruh dunia sebagai bagian dari sistem peramalan kualitas udara mereka.

Salah satu hal yang kami lakukan dalam data assimilation adalah memberikan banyak perhatian pada ketidakpastian. Sebagian dari pekerjaan saya di NASA adalah menciptakan produk data remote sensing global. Caranya adalah, Anda menggunakan informasi remote sensing untuk membuat produk data, misalnya tentang komposisi atmosfer atau permukaan darat atau komposisi bawah air, misalnya untuk lautan global. Anda mendapatkan data remote sensing dari satelit dan membandingkannya dengan ground truth in-situ. Biasanya mengumpulkan data pelatihan untuk melakukan itu bisa memakan waktu hingga satu dekade. Ini cukup tugas karena Anda ingin dapat menyelidiki sebanyak mungkin kondisi dan konteks yang berbeda yang mungkin Anda hadapi secara global.

Tim robot otonom kami, dalam waktu sekitar 15 menit, mengumpulkan volume data yang sama seperti yang biasanya digunakan untuk membuat produk data remote sensing berbasis satelit, meskipun untuk satu lokasi. Jadi, itu bisa pergi ke lingkungan baru, satu yang belum pernah dilihat sebelumnya dan dengan cepat membuat pengamatan yang terkoordinasi dengan tepat. Dalam kasus ini, tim adalah sebuah kapal dan kendaraan udara. Kami memilih kapal karena itu sedikit lebih menantang daripada pengukuran berbasis tanah karena masalah akses.

Paradigma ini berguna tidak hanya untuk membantu menciptakan produk baru dengan cepat, tetapi juga untuk kalibrasi dan validasi pengamatan satelit, ini juga berguna untuk membantu menjaga orang dari bahaya. Jika Anda memiliki lingkungan yang sangat terkontaminasi, atau lingkungan di mana ada ancaman bagi manusia yang memasukinya, tim robot bisa pergi ke sana dan dengan cara yang terkoordinasi mengumpulkan data yang sesuai.

Studi dalam kertas kami menggunakan kendaraan udara dengan hyperspectral imager yang mengumpulkan volume data yang sangat besar dengan sangat cepat. Jadi, bahkan saluran data tercepat kami saat ini, mungkin komunikasi seluler 5G, tidak cukup cepat untuk menangani bandwidth yang diperlukan untuk streaming citra hiperspektral. Kami mengatasi masalah itu dengan pemrosesan papan atas yang memungkinkan kami membuat produk data ini secara langsung, menggunakan machine learning papan atas, dan kemudian memstreamingnya. Produk data akhir, misalnya keberlimpahan kontaminan, adalah jumlah data yang jauh lebih kecil yang dapat kita stream secara real-time.

Jadi, ini benar-benar kemampuan untuk dengan cepat mengumpulkan data yang komprehensif yang dapat digunakan untuk menjaga orang dari bahaya, untuk memfungsikan ekosistem, menjadi bagian dari aktivitas respons darurat, misalnya setelah badai yang menyebabkan banjir di lingkungan dekat pabrik kimia, atau sejumlah besar aplikasi seperti itu: bunga alga beracun, curiga minyak, atau berbagai aplikasi pertanian.

Ini dirancang untuk menjadi serangkaian komponen yang fleksibel. Sama seperti sekarang kita terbiasa memiliki app store di ponsel kita, atau mobil Tesla dengan update melalui udara — ini adalah sensor yang didefinisikan perangkat lunak dengan app store miliknya sendiri yang dapat diperbarui untuk meningkatkan kemampuan mereka seiring waktu.

Tech Briefs: Anda memiliki sensor udara dan sensor tanah dan Anda mengirim informasi ke mana? Bagaimana semuanya diproses? Di mana pemrosesannya dilakukan?

Dr. Lary: Pikirkan ini sebagai ensemble sensor cerdas. Ada sekumpulan hal: pertama ada sensor yang didefinisikan perangkat lunak. Sensor yang didefinisikan perangkat lunak akan menjadi paket penginderaan cerdas, yang menggabungkan sistem penginderaan fisik, misalnya kamera, kamera hiperspektral, kamera termal, atau spektrometer massa. Ini bisa menjadi perangkat penginderaan apa pun dengan beberapa perangkat lunak/machine learning yang membungkusnya, yang kemudian menyediakan fasilitas untuk memberikan beberapa produk data yang dikalibrasi dan/atau diturunkan. Sebagian besar sensor akan memerlukan kalibrasi jenis tertentu.

Dengan menggabungkan sensor dengan wrapper perangkat lunak/machine learning kita dapat melakukan kalibrasi yang rumit yang memungkinkan kita memiliki sistem yang jauh lebih fleksibel. Jadi, sensor yang didefinisikan perangkat lunak itu juga dapat memiliki app store miliknya sendiri. Salah satu atau lebih dari sensor yang didefinisikan perangkat lunak ini dapat berada pada platform yang menyediakan daya dan cap waktu lokasi untuk semua data yang dihasilkannya, dan juga konektivitas komunikasi, dan mungkin di mana relevan, mobilitas.

Tech Briefs: Jadi, ini adalah platform fisik?

Dr. Lary: Ya — dalam contoh ini kami memiliki dua platform. Kami memiliki kendaraan udara robotik dengan kamera hiperspektral dan kamera termal dan beberapa sensor lainnya di papan atas. Dan kemudian platform kedua adalah kapal robotik, yang memiliki seluruh rangkaian sensor di air di bawahnya, termasuk sonar dan berbagai sensor komposisi dan di atasnya, stasiun cuaca ultrasonik.

Sensor yang didefinisikan perangkat lunak plus platform membentuk satu sentinel. Sentinel ini adalah sesuatu yang biasanya dapat bergerak, melakukan pengukuran, memproses data dan/atau memstreamingnya.

Beberapa sentinel yang bekerja bersama dapat membentuk tim robot yang dapat bekerja sama satu sama lain untuk memberikan lebih banyak kemampuan daripada yang dapat dilakukan oleh salah satupun mereka sendiri. Dalam kasus ini, robot udara dengan sensor-nya bekerja sama dengan robot air — kapal robotik dan sensor-nya. Karena mereka berada di jaringan yang sama, robot udara, menurut desain, meluncur melalui jalur yang sama dengan kapal. Kapal mengukur apa yang ada di air, sementara robot udara melihat ke bawah ke udara dari atas dengan kamera hiperspektral jarak jauhnya, dan menggunakan machine learning, mempelajari pemetaan dari apa yang dilihat kamera hiperspektral kami ke komposisi air. Setelah mempelajari pemetaan itu, ia sekarang dapat dengan cepat terbang di atas area yang jauh lebih luas dan memberikan kepada kita, misalnya, peta komposisi area luas dari konsentrasi minyak, kelimpahan klorofil, karbon organik terlarut, atau komponen air mana pun yang kita minati.

Kami dapat melakukan itu, tanpa pernah melihat lingkungan itu sebelumnya — tim robot bekerja sama untuk mengumpulkan data pelatihan ini. Data pelatihan digunakan oleh machine-learning untuk membuat produk data baru seperti peta komposisi area luas. Setelah model telah dilatih, penginderaan hiperspektral dapat dilakukan hanya dari pengukuran udara, dapat diproses di papan atas kendaraan udara dan kemudian hasilnya di-stream secara real-time. Biasanya, itu adalah volume data yang sangat besar sehingga bisa memakan waktu besar untuk melakukan perhitungan. Karena Anda tidak dapat memstreamingnya secara real-time karena terlalu besar, dapat memprosesnya di tepi di papan atas dan kemudian memstreamingnya, tidak hanya memberikan kemampuan baru, tetapi juga mengurangi latensi, keterlambatan dalam dapat melakukan tugas tersebut.

Tech Briefs: Seperti yang mereka bicarakan tentang sensor untuk pemrosesan edge untuk mengurangi jumlah data yang harus Anda kirim.

Dr. Lary: Tepat.

Tech Briefs: Apakah Anda akan mempertimbangkan pekerjaan yang baru saja Anda lakukan sebagai prototipe?

Dr. Lary: Ya, kita harus memulai dari mana-mana, jadi ini adalah langkah pertama kami.

Tech Briefs: Bagaimana Anda meramalkan penggunaannya secara praktis — katakanlah ada bencana dan otoritas ingin menggunakan sistem Anda, apa yang akan mereka lakukan?

Dr. Lary: Prototipe ini hanyalah satu contoh dari visi yang jauh lebih komprehensif, ini adalah implementasi minimal dari apa yang mungkin menjadi tim multi-robot. Di sini kami hanya memiliki dua robot, yang udara dan kapal robotik. Kami memilih keduanya karena, dapat merasakan air memiliki tantangan akses. Namun, tim ini dapat dengan mudah memiliki lebih banyak anggota, katakanlah robot yang berjalan di darat, atau kendaraan amfibi yang dapat membawa seluruh tim robot ke lingkungan yang potensial berbahaya untuk ditempatkan secara jarak jauh.

Ini dapat merespons curiga minyak seperti Deepwater Horizon, di mana kami melihat gambar dampak pada satwa lihat, perikanan yang terkena dampak, dan seterusnya — dan curiga minyak terjadi terus-menerus. Atau bisa terjadi curiga kimia. Misalnya, ketika badai Harvey mengenai Houston, dengan jumlah besar pabrik pengolahan, terjadi banjir berat di fasilitas-fasilitas tersebut dan beberapa lingkungan sekitar dikelilingi di tiga sisi oleh air yang terkontaminasi. Senyawa organik volatil di air akhirnya keluar sebagai gas, yang menyebabkan masalah pernapasan yang parah — orang tidak tahu apa yang mereka hirup, tetapi mereka tahu itu mempengaruhi mereka. Pekerja yang masuk untuk membersihkan juga terkena dampak air yang terkontaminasi.

Dengan sistem penginderaan kami, Anda akan tahu persis apa yang Anda hadapi sehingga Anda dapat menyesuaikan respons Anda dengan baik. Namun, ini juga dapat berlaku untuk kasus lain seperti bunga alga beracun. Atau bahkan jika tidak ada bencana, jenis kemampuan ini dapat digunakan untuk memfungsikan ekosistem dan melakukan survei infrastruktur. Katakanlah, jalan raya, rel kereta api, dan jembatan, di mana robot otonom dengan penginderaan mereka dapat dengan cepat melakukan pengukuran detail.

Bayangkan skenario yang berbeda. Katakanlah Anda memiliki robot udara seperti yang kita miliki dalam contoh ini. Dengan hiperspektral, termal, dan katakanlah synthetic aperture radar, melihat tekstur permukaan, ini dapat dikaitkan dengan robot darat yang memiliki ground-penetrating radar yang mencari rongga atau kerusakan lain. Baik itu terowongan atau jalan, rongga terbentuk dengan penggunaan dan pengawasan cuaca. Ada juga banyak skenario lain yang bisa Anda gunakan untuk pertanian. Ini dirancang untuk penginderaan yang komprehensif, yang seperti blok Lego dapat Anda gunakan bersama, seperti plug and play. Anda akan dapat dengan cepat menggunakannya untuk berbagai kasus penggunaan kehidupan nyata, di mana keputusan berbasis data waktu nyata menghasilkan transparansi yang lebih, menjaga orang dari bahaya.

Tech Briefs: Jika seseorang ingin menggunakan sistem ini, apakah mereka perlu memiliki robot dan drone buatan kustom, atau Anda akan memiliki paket yang dapat dipasang pada perangkat yang ada? Bagaimana Anda memandang ini menjadi praktis?

Dr. Lary: Saya harus berjuang selama bertahun-tahun untuk membuat hal-hal bekerja bersama. Satu hal untuk membeli peralatan, hal lain untuk komponen bekerja bersama. Semua yang kami beli adalah off the shelf, karena upaya kami masuk ke, untuk kata yang lebih baik, kecerdasan, seperti integrasi perangkat lunak.

Dengan demikian, langkah kunci untuk sensor yang dirancang perangkat lunak ini yang kami gunakan machine learning, adalah untuk mengkalibrasinya terhadap referensi atau belajar secara langsung. Kami menggunakan ide yang sama untuk kualitas udara dan mendistribusikan sensor biaya rendah di seluruh kota yang telah dikalibrasikan terhadap sensor referensi yang sangat mahal. Kami dapat menyebarkan sensor pada skala lingkungan, yang sebelumnya akan terlarang secara biaya.

Dengan dapat mengkalibrasikan sensor biaya rendah terhadap referensi dengan cara yang sama seperti dalam tim robot ini, kami mengkalibrasikan pengukuran hiperspektral yang dibuat oleh kemampuan remote sensing terhadap komposisi in-situ, dalam kasus ini dari air, dan Anda dapat mencapai hal-hal yang sebaliknya akan sangat, sangat sulit.

Ini benar-benar jaringan sensor, jaringan sentinel otonom yang bekerja sama secara kooperatif menggunakan machine learning, yang memungkinkan Anda melakukan jauh lebih banyak daripada yang dapat dilakukan oleh setiap komponen tersebut sendiri.

Tech Briefs: Apakah Anda meramalkan hal ini akan dikomersialkan, dibangun oleh perusahaan swasta atau Anda melihat pemerintah terlibat dengannya? Apa yang Anda lihat ke depan?

Dr. Lary: Impian saya ke depan adalah untuk memiliki toko di mana individu, pemerintah daerah, atau perusahaan, dapat memiliki akses siap pakai ke jenis kemampuan ini, dan tidak hanya mendapatkan sensor tetapi juga layanan backend. Jadi ketika Anda memasang dan memutar hal-hal ini bersama, itu hanya bekerja, dan Anda tidak perlu melalui pengembangan yang lama. National Science Foundation mengkategorikan ini sebagai cyber-physical system. Cyber-physical systems pada dasarnya adalah sistem penginderaan yang dikombinasikan dengan algoritma untuk membantu Anda membuat keputusan yang lebih baik dan tepat waktu.

Jadi, impian saya untuk semua ini, dan apa yang beberapa di antara kita sedang mengerjakan — dan kami menyambut mitra dari segala macam — adalah untuk memiliki cyber-physical social observatory. Ini harus menjadi fasilitas nasional seperti observatorium astronomi dengan teleskop raksasa, karena tidak ada yang lain mampu membayar sesuatu dalam skala itu.

Bayangkan sekarang Anda memiliki serangkaian kemampuan penginderaan dengan beberapa komponen, yang dalam proyek kami, adalah robot udara dan kapal robotik. Namun sistem kami sebenarnya memiliki sembilan jenis sentinel untuk berbagai jenis situasi. Kami dapat menggunakan remote sensing dari satelit dan radar cuaca. Selain kendaraan udara, kami memiliki sensor tingkat jalan, streaming 24/7 kualitas udara, intensitas cahaya, radiasi ionisasi dan seterusnya. Kami memiliki robot berjalan, kami memiliki kendaraan darat listrik dan kapal robotik, tetapi kemudian juga kami memiliki sensor wearable.

Kami juga ingin dapat memiliki penginderaan multiskala dari gambar besar global, dari satelit. Jadi, katakanlah kita sekarang kembali ke contoh badai Harvey. Lama sebelum badai Harvey mendarat di darat, kita dapat melihatnya dengan satelit dan kemudian saat itu mendekati mendarat di darat, dengan radar cuaca. Namun saat itu mendarat di darat, detail mikro-lingkungan menjadi kritis. Ketinggian tepat dari aliran tertentu dapat membuat perbedaan yang sangat besar bagi lingkungan lokal. Jadi, kami ingin memiliki informasi baik pada skala besar global maupun skala hiper-lokal karena Anda dan saya tinggal pada skala yang sangat lokal itu. Untuk dapat merasakan baik skala besar maupun skala lokal secara bersamaan, kita benar-benar membutuhkan banyak sentinel.

Tetapi kemudian wearable sensing juga sangat penting. Misalnya, dalam beberapa pekerjaan paralel yang kami lakukan, Anda melihat berita yang mengatakan kualitas udara buruk membuat Anda “bodoh.” Tapi seberapa bodoh itu bodoh? Polutan apa yang bisa membuat kita lebih bodoh dari yang lain? Jadi, dalam salah satu studi kami, kami menggunakan penginderaan biometrik komprehensif dan mengukur lebih dari 16.000 parameter per detik, bersama dengan penginderaan lingkungan komprehensif dari sekitar 2.000 parameter lingkungan untuk melihat bagaimana kondisi lingkungan mempengaruhi respons autonomik kita.

Semua ini dirancang untuk menjadi penginderaan holistik untuk menjaga orang dari bahaya, tetapi juga untuk menemukan gajah tak terlihat di ruangan yang dapat mempengaruhi kesehatan kita. Setelah kita menyadari apa itu dan kita dapat mengukurnya, biasanya ada jalan yang jelas dari keputusan berbasis data untuk membuatnya lebih baik dan kemudian untuk mengambil langkah berikutnya yang tepat untuk memantau kemajuan kita.

Itu benar-benar impian saya — menjadi katalis untuk penginderaan holistik ini untuk menjaga orang dari bahaya: penginderaan dalam layanan masyarakat. Kami memiliki banyak prototipe yang kami coba bawa ke titik bahwa mereka dapat digunakan. Jadi, kami selalu menyambut kemitraan untuk membantu mempercepat itu — dari pemerintah, dari individu, pemerintah daerah, kelompok komunitas, perusahaan. Kami bekerja dengan semua jenis entitas ini.

Tech Briefs: Sepertinya Anda sedang menciptakan infrastruktur jenis yang benar-benar baru.

Dr. Lary: Kami mencoba — ini secara dasar didorong oleh kebutuhan. Informasi holistik dapat membuat perbedaan yang besar dengan memberikan informasi untuk membuat keputusan yang tepat. Akan non-trivial untuk melakukan itu tanpa infrastruktur yang tepat.

Tech Briefs: Itu terdengar luar biasa, saya berharap itu dapat diimplementasikan someday.

Dr. Lary: Saya juga, saya juga. Kami telah melalui perjalanan yang panjang. Saya pikir kami sedang melakukan langkah pertama.

Bit lainnya adalah di luar fisik, yang belum sampai giliran saya, adalah Anda dapat memiliki hal-hal seperti absensi sekolah, yang kemudian mengakibatkan hasil belajar yang buruk. Namun, seringkali ternyata absensi dapat disebabkan oleh hal-hal seperti asma. Asma disebabkan oleh serangkaian atau polusi udara, dan itu sebenarnya rantai efek — sosial berinteraksi dengan lingkungan. Kami tidak ingin ini menjadi hal satu arah. Kami ingin pemicu untuk pengamatan menjadi baik apa yang kita lihat dari penginderaan secara langsung, tetapi juga dari masalah sosial seperti klaster hasil kesehatan atau bunga alga beracun, yang dapat menghancurkan perikanan, atau curiga minyak — itu interaksi dua arah.

Memiliki platform data yang dapat menggabungkan semua lapisan parameter lingkungan ini dengan lapisan sosial seperti tren mortalitas, absensi, insidensi kanker, dll. dapat membantu membuat proses pengambilan keputusan untuk membantu individu menjadi sangat lebih transparan dan efektif.

Tech Briefs: Apa yang sedang Anda kerjakan sekarang? Langkah berikutnya Anda?

Dr. Lary: Langkah yang sangat berikutnya untuk tim robot khusus ini dengan kapal serta kendaraan udara akan meningkatkan berbagai aspek dari tim otonom itu. Dan kemudian kita ingin memperluasnya untuk memiliki lebih banyak anggota tim. Misalnya, untuk memiliki kendaraan darat amfibi yang dapat membawa baik kapal maupun kendaraan udara ke lingkungan yang terkontaminasi, dan kemudian melepaskannya, sambil juga melakukan pengukuran sendiri. Juga, untuk membuat robot menjadi bagian dari remediasi.

Ini adalah komponen yang berbeda bekerja sama. Jenis tim yang sama juga dapat digunakan untuk melihat pemeliharaan infrastruktur, baik itu jalan atau rel atau jembatan, dan juga untuk aspek lain dari kualitas lingkungan — kualitas udara, kualitas air. Jadi sebenarnya, bukti konsep ini hanyalah prototipe untuk menunjukkan: “Hey sebenarnya ini dapat dilakukan dan sekarang kita ingin menskalakannya dalam begitu banyak aplikasi yang berbeda.”

Juga, ini dapat menjadi prototipe untuk misi satelit. Anda dapat membayangkan alur kerja di mana Anda memiliki bukti konsep pada kendaraan udara. Kemudian itu dapat bertransisi ke platform lain seperti CubeSat, misalnya. Ini juga dapat menjadi bagian dari proses validasi, mengumpulkan data untuk misi satelit, serta mengumpulkan data untuk tujuan yang telah saya sebutkan.

Versi yang diedit dari wawancara ini muncul dalam edisi Juni 2021 Tech Briefs.