T&J:Tim Robot Memetakan Komposisi Lingkungan

Dr. David Lary dari University of Texas di Dallas memimpin kelompok penelitian yang telah mengembangkan tim perangkat robotik otonom yang dapat digunakan di lokasi berbahaya atau sulit dijangkau untuk melakukan survei dan mengumpulkan data — memberikan wawasan yang lebih banyak dan lebih cepat dari yang dapat diberikan oleh manusia.

Ringkasan Teknologi: Apa yang menginspirasi Anda untuk menggunakan beberapa perangkat otonom untuk mengumpulkan kumpulan data lingkungan yang holistik?

Dr. David Lary: Nah, ada dua bagian dari perjalanan itu. Yang pertama adalah gairah yang mendorong saya. Saya sangat ingin memiliki penginderaan holistik yang komprehensif untuk menjauhkan orang dari bahaya sehingga ada wawasan yang dapat ditindaklanjuti untuk membuat keputusan tepat waktu. Itulah motivasi saya, tetapi perjalanan sebenarnya bagi saya hingga titik ini dimulai beberapa tahun yang lalu —hampir 30 tahun yang lalu.

Ketika saya menyelesaikan PhD saya di Cambridge, orang yang sangat dekat, yang menemukan lubang ozon, adalah seorang pria bernama Joe Farman. Jadi, untuk PhD saya, saya mengembangkan model global 3 dimensi pertama untuk penipisan ozon. Itu adalah modul kimia yang merupakan plug-in ke model global yang digunakan oleh Pusat Eropa untuk prakiraan cuaca Jangka Menengah. Dengan plug-in saya, saya dapat melakukan simulasi global untuk kimia yang berhubungan dengan ozon. Jadi, pertanyaan jelas yang ingin saya tanyakan adalah:seberapa bagus model ini? Untuk memverifikasinya, saya harus mengumpulkan sebanyak mungkin sumber data:satelit, pesawat terbang, sensor berbasis darat, dan balon. Salah satu

Hal-hal merugikan yang saya hadapi adalah bias antar instrumen. Jadi, saya mencari cara untuk membantu mengatasi bias ini. Meskipun ini terjadi 30 tahun yang lalu, saya secara kebetulan menemukan pembelajaran mesin. Ini sebelum mencapai adopsi besar-besaran yang dimilikinya saat ini, dan saya menemukan itu melakukan pekerjaan yang sangat baik. Itu membuat saya mulai mencari tahu apa lagi yang bisa kami lakukan dengannya. Sepanjang jalan, kami adalah orang pertama yang mengembangkan asimilasi data kimia, yang sekarang digunakan oleh lembaga di seluruh dunia sebagai bagian dari sistem prakiraan kualitas udara mereka.

Salah satu hal yang kami lakukan dalam asimilasi data adalah memberikan banyak perhatian pada ketidakpastian. Bagian dari pekerjaan saya di NASA adalah menciptakan produk data penginderaan jauh global. Cara kerjanya adalah, Anda menggunakan informasi penginderaan jauh untuk membuat produk data, katakanlah tentang komposisi atmosfer atau permukaan tanah atau komposisi bawah air, katakanlah untuk lautan global. Anda mendapatkan data penginderaan jauh dari satelit dan membandingkannya dengan kebenaran di lapangan. Biasanya mengumpulkan data pelatihan untuk melakukan itu bisa memakan waktu hingga satu dekade atau lebih. Ini adalah tugas yang cukup berat karena Anda ingin dapat mengambil sampel sebanyak mungkin kondisi dan konteks berbeda yang mungkin Anda temui secara global.

Tim robot otonom kami, dalam waktu sekitar 15 menit, mengumpulkan volume data yang sama seperti yang biasanya digunakan untuk membuat produk data penginderaan jauh berbasis satelit tersebut, meskipun untuk satu lokasi. Jadi, ia bisa masuk ke lingkungan baru, lingkungan yang belum pernah dilihat sebelumnya dan dengan cepat melakukan pengamatan terkoordinasi dengan tepat. Dalam hal ini, tim adalah perahu dan kendaraan udara. Kami memilih perahu karena itu sedikit lebih menantang daripada pengukuran di darat karena masalah akses.

Paradigma jenis ini berguna tidak hanya untuk membantu menciptakan produk baru dengan cepat, tetapi juga untuk kalibrasi dan validasi pengamatan satelit, juga berguna untuk membantu menjauhkan orang dari bahaya. Jika Anda memiliki lingkungan yang sangat terkontaminasi, atau lingkungan di mana ada ancaman terhadap manusia yang memasukinya, tim robot dapat pergi ke sana dan secara terkoordinasi mengumpulkan data yang sesuai.

Studi dalam makalah kami menggunakan kendaraan udara dengan pencitra hiperspektral yang mengumpulkan sejumlah besar data dengan sangat cepat. Jadi, bahkan pipa data tercepat kami saat ini, mungkin komunikasi seluler 5G, tidak cukup cepat untuk menangani bandwidth yang diperlukan untuk streaming gambar hiperspektral. Kami mengatasi masalah itu dengan pemrosesan on-board yang memungkinkan kami membuat produk data ini dengan cepat, menggunakan pembelajaran mesin on-board, dan kemudian mengalirkannya. Produk data akhir, katakanlah banyaknya kontaminan, adalah jumlah data yang jauh lebih kecil yang dapat dengan mudah kita streaming secara real time.

Jadi, ini benar-benar kemampuan untuk mengumpulkan data komprehensif dengan cepat yang dapat digunakan untuk menjauhkan orang dari bahaya, untuk mengkarakterisasi ekosistem, menjadi bagian dari kegiatan tanggap darurat, katakanlah setelah badai yang menyebabkan genangan di lingkungan dekat pabrik kimia. , atau sejumlah aplikasi semacam itu:ganggang yang berbahaya, tumpahan minyak, atau berbagai aplikasi pertanian.

Ini dirancang untuk menjadi satu set komponen yang fleksibel. Sama seperti sekarang kita terbiasa memiliki toko aplikasi di ponsel kita, atau mobil Tesla memiliki pembaruan melalui udara — ini adalah sensor yang ditentukan perangkat lunak dengan toko aplikasinya sendiri yang dapat diperbarui untuk meningkatkan kemampuannya seiring waktu.

Ringkasan Teknologi: Anda memiliki sensor terbang dan sensor tanah dan Anda mengirim informasi kembali ke mana? Bagaimana semua itu diproses? Di mana diproses?

Dr. Lary: Anggap ini sebagai ansambel sensor pintar. Ada serangkaian hal:jadi pertama ada sensor yang ditentukan perangkat lunak. Sensor yang ditentukan perangkat lunak akan menjadi paket penginderaan cerdas, yang menggabungkan sistem penginderaan fisik, katakanlah kamera, kamera hiperspektral, kamera termal, atau spektrometer massa. Itu bisa berupa perangkat penginderaan apa pun dengan beberapa perangkat lunak/pembelajaran mesin yang melilitnya, yang kemudian menyediakan fasilitas untuk menyediakan beberapa produk data yang dikalibrasi dan/atau diturunkan. Sebagian besar sensor akan membutuhkan semacam kalibrasi.

Dengan menggabungkan sensor dengan pembungkus pembelajaran perangkat lunak/mesin, kita dapat melakukan kalibrasi rumit yang memungkinkan kita memiliki sistem yang jauh lebih fleksibel. Jadi, sensor yang ditentukan perangkat lunak itu juga dapat memiliki toko aplikasi sendiri. Satu atau beberapa sensor yang ditentukan perangkat lunak ini dapat berada di platform yang menyediakan sensor dengan stempel waktu dan lokasi untuk semua data yang dihasilkannya, dan juga konektivitas komunikasi, dan mungkin jika relevan, mobilitas.

Ringkasan Teknologi: Jadi, ini adalah platform fisik?

Dr. Lary: Ya — dalam contoh ini kami memiliki dua platform. Kami memiliki kendaraan udara robot dengan kamera hyperspectral dan kamera termal dan beberapa sensor lainnya di dalamnya. Kemudian platform kedua adalah perahu robot, yang memiliki seluruh rangkaian sensor di dalam air di bawahnya, termasuk sonar dan berbagai sensor komposisi dan di atasnya, stasiun cuaca ultrasonik.

Sensor yang ditentukan perangkat lunak ditambah platform membentuk penjaga. Penjaga ini adalah sesuatu yang biasanya dapat bergerak, melakukan pengukuran, memproses data, dan/atau mengalirkannya.

Beberapa penjaga yang bekerja bersama dapat membentuk tim robot yang dapat bekerja sama satu sama lain untuk memberikan lebih banyak kemampuan daripada yang dapat mereka lakukan sendiri. Dalam hal ini, robot udara dengan sensornya bekerja sama dengan robot air — robot perahu dan sensornya. Karena mereka berada di jaringan yang sama, robot udara, secara desain, meluncur di jalur yang sama dengan perahu. Perahu mengukur apa yang ada di dalam air, sementara robot udara melihat ke bawah ke air dari atas dengan kamera hiperspektral jarak jauh dan, menggunakan pembelajaran mesin, mempelajari pemetaan dari apa yang dilihat kamera hiperspektral kami hingga komposisi air. Setelah mempelajari pemetaan itu, sekarang dapat dengan cepat terbang di atas area yang jauh lebih luas dan menyediakan bagi kita, katakanlah, peta komposisi area luas dari konsentrasi minyak, kelimpahan klorofil, karbon organik terlarut, atau komponen air apa pun yang kita ' tertarik.

Kita bisa melakukannya, karena belum pernah melihat lingkungan itu sebelumnya — tim robot bekerja sama untuk mengumpulkan data pelatihan ini. Data pelatihan digunakan oleh pembelajaran mesin untuk membuat produk data baru seperti peta komposisi area luas. Setelah model tersebut dilatih, penginderaan hiperspektral dapat dilakukan hanya dari pengukuran udara, dapat diproses di atas kendaraan udara dan kemudian hasilnya dialirkan secara real-time. Biasanya, itu adalah volume data yang sangat besar sehingga perlu waktu yang cukup lama untuk melakukan penghitungan angka. Karena Anda tidak dapat melakukan streaming secara real time karena sangat besar, kemampuan untuk memprosesnya secara edge di papan dan kemudian mengalirkannya, tidak hanya memberi Anda kemampuan baru, tetapi juga mengurangi latensi, penundaan untuk dapat bahkan melakukan tugas seperti itu.

Ringkasan Teknologi: Ini seperti yang mereka bicarakan dengan sensor untuk pemrosesan tepi guna mengurangi jumlah data yang harus Anda kirim.

Dr. Lary: Tepat.

Ringkasan Teknologi: Apakah Anda menganggap pekerjaan yang baru saja Anda lakukan sebagai prototipe?

Dr. Lary: Ya, kita harus mulai dari suatu tempat, jadi ini adalah langkah pertama kita.

Ringkasan Teknologi: Bagaimana Anda memperkirakannya akan digunakan secara praktis — katakanlah ada bencana dan pihak berwenang ingin menggunakan sistem Anda, apa yang akan mereka lakukan?

Dr. Lary: Prototipe ini hanyalah salah satu contoh dari visi yang jauh lebih komprehensif, ini adalah implementasi minimal dari apa yang bisa menjadi tim multi-robot. Di sini kami hanya memiliki dua robot, robot udara dan perahu robot. Kami memilih keduanya karena, untuk bisa merasakan air memiliki tantangan akses. Namun tim ini dapat dengan mudah memiliki lebih banyak anggota, misalnya robot yang berjalan di darat, atau kendaraan amfibi yang dapat membawa seluruh tim robot ke lingkungan yang berpotensi berbahaya untuk dikerahkan dari jarak jauh.

Itu bisa menanggapi tumpahan minyak seperti Deepwater Horizon, di mana kami melihat gambar dampak satwa liar, perikanan yang terkena dampak, dan sebagainya — dan tumpahan minyak terjadi sepanjang waktu. Atau mungkin ada tumpahan bahan kimia. Misalnya, ketika Badai Harvey menghantam Houston, dengan sejumlah besar pabrik pengolahannya, fasilitas tersebut terendam banjir dan beberapa lingkungan terdekat dikelilingi di tiga sisi oleh air yang terkontaminasi. Senyawa organik yang mudah menguap di dalam air akhirnya mengeluarkan gas, yang menyebabkan masalah pernapasan yang parah - orang tidak tahu apa yang mereka hirup, tetapi mereka tahu itu memengaruhi mereka. Pekerja yang masuk untuk membersihkan juga terkena dampak air yang terkontaminasi.

Dengan sistem penginderaan kami, Anda akan tahu persis apa yang Anda hadapi sehingga Anda dapat menyesuaikan respons Anda dengan tepat. Tapi itu bisa juga berlaku untuk kasus lain seperti ganggang yang berbahaya. Atau bahkan jika tidak ada bencana, jenis kemampuan ini dapat digunakan untuk mengkarakterisasi ekosistem dan melakukan survei infrastruktur. Misalnya, jalan raya, rel kereta api, dan jembatan, tempat robot otonom dengan sensornya dapat dengan cepat melakukan pengukuran mendetail.

Sekarang bayangkan skenario yang berbeda. Katakanlah Anda memiliki robot udara seperti yang kita miliki dalam contoh ini. Dengan radar aperture hiperspektral, termal, dan katakanlah sintetis, melihat tekstur permukaan, itu dapat digabungkan dengan robot darat yang memiliki radar penembus tanah yang mencari celah atau kesalahan lainnya. Baik itu terowongan atau jalan, rongga terbentuk karena penggunaan dan pelapukan. Ada juga banyak skenario berbeda yang dapat Anda berikan kepada kami untuk pertanian. Ini dirancang untuk menjadi penginderaan yang komprehensif, yang seperti balok Lego yang dapat Anda gunakan bersama-sama, seperti plug and play. Anda akan dapat dengan cepat menggunakannya untuk berbagai macam kasus penggunaan di kehidupan nyata, di mana keputusan berdasarkan data real-time menghasilkan transparansi yang lebih, menjaga orang dari bahaya.

Ringkasan Teknologi: Jika seseorang ingin menggunakan sistem ini, apakah mereka perlu memiliki robot dan drone yang dibuat khusus, atau apakah Anda memiliki paket yang dapat dipasang pada perangkat yang sudah ada? Bagaimana Anda membayangkan ini menjadi praktis?

Dr. Lary: Saya harus berjuang selama bertahun-tahun dengan mendapatkan sesuatu untuk bekerja sama. Membeli peralatan adalah satu hal, itu adalah hal lain untuk komponen bekerja bersama. Semua yang kami beli tidak ada di rak, karena upaya kami masuk ke, karena menginginkan kata yang lebih baik, kecerdasan, seperti integrasi perangkat lunak.

Karena itu, langkah kunci untuk sensor yang dirancang perangkat lunak ini yang kami gunakan untuk pembelajaran mesin, adalah mengkalibrasi terhadap referensi atau belajar dengan cepat. Kami menggunakan ide yang sama untuk kualitas udara dan mendistribusikan sensor murah di seluruh kota yang telah dikalibrasi dengan sensor referensi yang sangat mahal. Kami dapat menerapkan sensor pada skala lingkungan, yang sebelumnya akan mahal biayanya.

Dengan mampu mengkalibrasi sensor berbiaya rendah terhadap referensi dengan cara yang hampir sama seperti di tim robot ini, kami mengkalibrasi pengukuran hiperspektral yang dibuat oleh kemampuan penginderaan jauh terhadap komposisi in-situ, dalam hal ini air, dan Anda dapat mencapai hal-hal yang sebaliknya akan sangat, sangat menantang.

Ini benar-benar jaringan sensor, jaringan penjaga otonom yang bekerja sama secara kooperatif menggunakan pembelajaran mesin, yang memungkinkan Anda melakukan jauh lebih banyak daripada yang dapat dilakukan komponen itu sendiri.

Ringkasan Teknologi: Apakah Anda memperkirakan ini akan dikomersialkan, dibangun oleh perusahaan swasta atau apakah Anda melihat pemerintah terlibat di dalamnya? Apa yang Anda lihat ke depan?

Dr. Lary: Impian saya ke depan adalah memiliki toko di mana individu, kota, atau perusahaan, dapat memiliki akses siap pakai ke jenis kemampuan ini, dan tidak hanya mendapatkan sensor tetapi juga layanan back-end. Sehingga ketika Anda pasang dan mainkan hal ini bersama-sama, itu hanya berfungsi, dan Anda tidak harus melalui pengembangan yang panjang. National Science Foundation mengkategorikan ini sebagai sistem cyber-fisik. Sistem siber-fisik pada dasarnya adalah sistem penginderaan yang digabungkan dengan algoritme untuk membantu Anda membuat keputusan yang lebih baik dan tepat waktu.

Jadi, impian saya untuk semua ini, dan apa yang beberapa dari kami sedang kerjakan — dan kami menyambut mitra dari semua jenis — adalah memiliki observatorium sosial fisik-cyber. Itu harus menjadi fasilitas nasional seperti observatorium astronomi dengan teleskop raksasa, karena tidak ada orang lain yang mampu melakukan sesuatu pada skala itu.

Bayangkan sekarang Anda memiliki seperangkat kemampuan penginderaan dengan beberapa komponen, yang dalam proyek kami adalah robot udara dan perahu robot. Tetapi sistem kami sebenarnya memiliki sembilan jenis penjaga untuk berbagai jenis situasi. Kita bisa menggunakan penginderaan jauh dari satelit dan radar cuaca. Selain kendaraan udara, kami memiliki sensor tingkat jalan, kualitas udara streaming 24/7, intensitas cahaya, radiasi pengion, dan sebagainya. Kami memiliki robot berjalan, kami memiliki kendaraan darat listrik dan perahu robot, tetapi kami juga memiliki sensor yang dapat dikenakan.

Kami juga ingin dapat memiliki penginderaan multiskala dari gambaran besar global, dari satelit. Jadi, katakanlah kita sekarang kembali ke contoh Badai Harvey. Jauh sebelum Badai Harvey mendarat, kita bisa melihatnya dengan satelit dan kemudian semakin dekat ke daratan, dengan radar cuaca. Tapi kemudian begitu mendarat, detail lingkungan mikro menjadi kritis. Ketinggian yang tepat dari sungai-sungai tertentu dapat membuat perbedaan yang sangat besar bagi lingkungan setempat. Jadi, kami ingin memiliki informasi tentang skala besar global dan skala hiper-lokal karena Anda dan saya hidup pada skala yang sangat terlokalisasi itu. Untuk dapat merasakan skala besar dan skala lokal secara bersamaan, kami benar-benar membutuhkan banyak penjaga.

Tapi kemudian penginderaan yang dapat dikenakan juga sangat penting. Misalnya, dalam beberapa pekerjaan paralel yang kami lakukan, Anda melihat berita utama yang mengatakan kualitas udara yang buruk membuat Anda "bodoh". Tapi seberapa bodoh itu bodoh? Polutan apa yang bisa membuat kita lebih bodoh dari yang lain? Jadi, dalam salah satu penelitian kami, kami menggunakan penginderaan biometrik komprehensif dan mengukur lebih dari 16.000 parameter per detik, bersama dengan penginderaan lingkungan komprehensif sekitar 2.000 parameter lingkungan untuk melihat bagaimana keadaan lingkungan memengaruhi respons otonom kami.

Semua ini dirancang untuk menjadi penginderaan holistik untuk menjauhkan orang dari bahaya, tetapi juga untuk menemukan gajah yang tidak terlihat di dalam ruangan yang dapat memengaruhi kesehatan kita. Setelah kami menyadari apa itu dan kami dapat mengukurnya, biasanya ada jalur yang jelas dari keputusan berdasarkan data untuk membuat segalanya lebih baik dan kemudian mengambil langkah berikutnya yang sesuai untuk memantau kemajuan kami.

Itu benar-benar impian saya — menjadi katalis untuk penginderaan holistik ini untuk menjauhkan orang dari bahaya:penginderaan dalam melayani masyarakat. Kami memiliki banyak prototipe yang kami coba bawa ke titik yang dapat digunakan. Jadi, kami selalu menyambut kemitraan untuk membantu mempercepat itu — dari pemerintah, dari individu, kotamadya setempat, kelompok masyarakat, perusahaan. Kami bekerja dengan semua jenis entitas tersebut.

Ringkasan Teknologi: Sepertinya Anda sedang menciptakan jenis infrastruktur yang benar-benar baru.

Dr. Lary: Kami mencoba— pada dasarnya didorong oleh kebutuhan. Informasi holistik dapat membuat perbedaan besar dengan memberi kita informasi untuk membuat keputusan yang tepat. Tidaklah sepele untuk melakukannya tanpa infrastruktur yang sesuai.

Ringkasan Teknologi: Kedengarannya luar biasa, saya hanya berharap ini bisa diterapkan suatu hari nanti.

Dr. Lary: Saya juga saya juga. Kami telah datang jauh. Saya pikir kita sedang membuat langkah pertama.

Bagian lain di luar fisik, yang tidak saya dapatkan, adalah Anda dapat memiliki hal-hal seperti ketidakhadiran di sekolah, yang kemudian mengarah pada hasil belajar yang buruk. Namun seringkali ketidakhadiran itu ternyata bisa disebabkan oleh hal-hal seperti asma. Asma disebabkan oleh serbuk sari atau polusi udara yang tinggi, dan ini sebenarnya merupakan rangkaian efek — sosial berinteraksi dengan lingkungan. Kami tidak ingin ini menjadi hanya satu arah. Kami ingin pemicu pengamatan menjadi apa yang kami lihat dari penginderaan secara langsung, tetapi juga dari masalah sosial seperti kelompok hasil kesehatan atau pertumbuhan alga, yang dapat merusak perikanan, atau tumpahan minyak — ini adalah interaksi dua arah.

Memiliki platform data yang dapat menyatukan semua lapisan parameter lingkungan ini dengan lapisan masyarakat seperti tren kematian, ketidakhadiran, kejadian kanker, dll. dapat membantu membuat proses pengambilan keputusan untuk membantu individu menjadi jauh lebih transparan dan efektif.

Ringkasan Teknologi: Apa yang Anda kerjakan sekarang? Apa langkah Anda selanjutnya?

Dr. Lary: Langkah selanjutnya untuk tim robot khusus ini dengan perahu dan kendaraan udara adalah meningkatkan berbagai aspek dari tim otonom itu. Dan kemudian kami ingin memperluasnya untuk memiliki lebih banyak anggota tim. Misalnya, memiliki kendaraan darat amfibi yang mungkin dapat membawa kapal dan kendaraan udara ke lingkungan yang terkontaminasi, dan kemudian menyebarkannya, sambil juga melakukan pengukuran sendiri. Juga, untuk menjadikan robot sebagai bagian dari perbaikan.

Ini adalah komponen yang berbeda yang bekerja bersama. Jenis tim yang sama juga dapat digunakan untuk melihat pemeliharaan infrastruktur, apakah itu jalan atau rel atau jembatan, dan juga untuk aspek lain dari kualitas lingkungan — kualitas udara, kualitas air. Jadi sungguh, bukti konsep ini hanyalah sebuah prototipe untuk menunjukkan:“Hei, ini benar-benar bisa dilakukan dan sekarang kami ingin menskalakannya di banyak aplikasi yang berbeda.”

Juga, ini bisa menjadi prototipe untuk misi satelit. Anda dapat membayangkan sebuah pipa di mana Anda memiliki bukti konsep pada kendaraan udara. Kemudian bisa bertransisi ke platform lain seperti CubeSat, misalnya. Ini juga dapat menjadi bagian dari proses validasi, pengumpulan data untuk misi satelit, serta pengumpulan data untuk berbagai tujuan yang telah saya sebutkan.

Versi yang diedit dari wawancara ini muncul di Ikhtisar Teknologi edisi Juni 2021.