Sistem AI TUM Prediksi Kegagalan Mobil Otonom hingga 7 Detik Lebih Awal
Model baru untuk mobil otonom belajar dari kegagalan lalu lintas dengan mendeteksi mereka sebelumnya, kadang-kadang hingga 7 detik lebih awal.
Dengan kendaraan otonom, situasi berkendara yang tidak diketahui atau kompleks (seperti perempakan ramai) dapat menyebabkan disengagement dari sistem otonom, baik melalui tindakan keamanan otomatis atau intervensi manusia.
Model kecerdasan buatan dari Universitas Teknik Munich (TUM) menggunakan ribuan situasi lalu lintas kehidupan nyata — khususnya, urutan disengagement yang direkam dari tes jalan — sebagai data pelatihan untuk memprediksi kegagalan masa depan.
Untuk memprediksi kegagalan secepat mungkin, pendekatan machine learning mengklasifikasi urutan data sensor sebagai kegagalan atau sukses.
Jika sistem mendeteksi situasi berkendara baru yang sebelumnya tidak dapat ditangani oleh sistem kontrol, misalnya, pengemudi akan diperingatkan sebelumnya tentang situasi kritis yang mungkin terjadi.
Teknologi keamanan yang dikembangkan TUM menggunakan sensor dan kamera untuk menangkap kondisi sekitar, seperti sudut putaran stir, kondisi jalan, cuaca, visibilitas, dan kecepatan. Sistem AI, berdasarkan jaringan saraf rekuren (RNN) dan ribuan situasi lalu lintas nyata, belajar untuk mengenali pola dengan data.
Mobil itu sendiri diperlakukan sebagai black box, hanya fokus pada input data dan output data. Sistem belajar introspektif dari kesalahan sebelumnya sendiri, menurut tim Munich.
"Keuntungan besar teknologi kami: kami sepenuhnya mengabaikan apa yang dipikirkan mobil. Sebaliknya kami membatasi diri pada data berdasarkan apa yang sebenarnya terjadi dan mencari pola,” kata peneliti utama Prof. Eckehard Steinbach , yang juga anggota Dewan Direksi Sekolah Robotika dan Kecerdasan Mesin Munich (MSRM) di TUM,. “Dengan cara ini, AI menemukan situasi potensial kritis yang model mungkin tidak dapat mengenali, atau belum menemukan."
Sistem menawarkan fungsi keamanan yang tahu kapan dan di mana mobil memiliki kelemahan, kata Steinbach.
Steinbach dan timnya menggabungkan dua jenis sensor. Model berbasis citra belajar untuk mendeteksi situasi yang umumnya menantang, seperti jalan kota yang ramai. Model berbasis data tambahan mendeteksi perubahan cepat segera sebelum kegagalan, seperti rem tiba-tiba atau menyimpang. Hasil dari model individual digabungkan dengan merata probabilitas kegagalan individual.
Grup BMW mengevaluasi "pendekatan prediksi kegagalan introspektif" melalui 14 jam berkendara otonom di jalan raya publik, menganalisis sekitar 2.500 situasi di mana pengemudi harus campur tangan.
Menurut studi, yang dirilis pada Desember 2020 , pendekatan late fusion memungkinkan prediksi kegagalan dengan akurasi lebih dari 85 persen – hingga tujuh detik sebelum mereka terjadi, dan pada tingkat false positive 20%.
Dalam wawancara singkat dengan Tech Briefs di bawah, Steinbach membicara kelebihan pendekatan black-box, serta keterbatasan ukuran keamanan kendaraan saat ini.
Tech Briefs: Saya pikir ini adalah ide yang menarik: “Kami sepenuhnya mengabaikan apa yang dipikirkan mobil. Sebaliknya kami membatasi diri pada data berdasarkan apa yang sebenarnya terjadi dan mencari pola.” Apa beberapa contoh pola yang mungkin tidak dikenali oleh model?
Prof. Eckehard Steinbach: Dalam pekerjaan kami, kami melihat kondisi mobil, seperti rem dan stir, serta citra kamera yang didapatkan mobil untuk mendeteksi pola yang mengakibatkan disengagement. Sementara ini memungkinkan model kami untuk mendeteksi persentase besar situasi di mana manusia harus mengambil alih, tidak semua informasi tentang adegan berkendara tertangkap dalam data ini.
Sebagai contoh sederhana, pola rem berulang mungkin merupakan berkendara rutin dalam cuaca hangat, tetapi mungkin mengindikasikan disengagement yang akan datang jika jalan berlapis es dan licin. Jika citra kamera tidak menangkap informasi ini tentang lingkungan, pola tersebut tidak dapat digunakan untuk membedakan antara berkendara rutin dan terganggu. Sementara informasi kamera biasanya cukup untuk menilai kondisi jalan, pola seperti itu masih dapat sulit dikenali.
Lebih Lanjut tentang Mobil Otonom
Tonton di Tech Briefs TV: Michigan sedang mengembangkan koridor pertama kalinya untuk kendaraan terhubung dan otonom.
Pada Blog: Survei para ahli mengeksplorasi pertanyaan: Bagaimana sistem otonom akan mempengaruhi alam?
Tech Briefs: Mengapa merupakan keuntungan untuk “mengabaikan apa yang dipikirkan mobil?"
Prof. Eckehard Steinbach: Jika mobil menilai situasi dengan sangat benar, tidak akan ada kebutuhan bagi pengemudi untuk campur tangan. Namun, kepercayaan berlebih adalah tantangan signifikan dari banyak model yang digunakan dalam berkendara otonom. Dengan merekam dan belajar dari situasi tersebut, kami dapat belajar untuk mendeteksi apakah situasi baru yang muncul adalah masalah meski mobil yakin berlebih padanya.
Selain itu, mengamati urutan pola tentang kondisi dan lingkungan mobil memungkinkan model kami untuk secara efektif ekstrapolasi ke masa depan untuk memprediksi disengagement hingga tujuh detik sebelumnya. Seawal ini, penilaian mobil terhadap adegan mungkin masih sepenuhnya benar, yang berarti tidak dapat digunakan untuk memprediksi skenario yang menantang. Sementara itu, data mentah yang dikumpulkan mungkin sudah mengandung pola yang telah mengakibatkan kegagalan sebelumnya dan oleh karena itu memungkinkan prediksi disengagement sebelumnya.
Tech Briefs: Bagaimana sistem mampu menentukan skenario "kritik", tujuh detik sebelumnya? Juga, saat deteksi tersebut terjadi, apa yang terjadi selanjutnya? Apa yang dilihat pengemudi di dalam mobil, dan apa yang dilakukan mobil?
Prof. Eckehard Steinbach: Kunci adalah untuk mengamati urutan data dan mencari pola temporal. Dengan mempertimbangkan tiga detik data yang direkam terakhir, model kami mampu mendeteksi pola yang akhirnya berkembang menjadi skenario di mana pengemudi manusia harus mengambil alih kontrol. Jika Anda tahu apa yang harus dicari, Anda dapat melihat tanda-tanda awal dari situasi yang menantang beberapa detik sebelumnya.
Metode kami mencapai ini sekitar 85% dari waktu tujuh detik sebelumnya. 15% sisa situasi dapat dijelaskan oleh fakta bahwa beberapa skenario yang menantang berkembang dalam waktu yang sangat singkat, seperti pejalan kaki tiba-tiba muncul dari antara mobil yang parkir dan mendekati jalan. Saat deteksi terjadi, pengemudi perlu diperingatkan.
Tech Briefs: Bagaimana pengemudi diperingatkan?
Prof. Eckehard Steinbach: Implementasi peringatan ini tergantung pada pilihan spesifik dari antarmuka manusia-mesin, tetapi pengemudi perlu tahu bahwa kontrol mobil mereka akan diperlukan dalam tujuh detik mendatang. Waktu ini juga memungkinkan mobil untuk merencanakan manouver berhenti aman jika pengemudi manusia tidak bereaksi terhadap prompt.
Tech Briefs: Bagaimana tes jalan Anda? Apa deteksi paling mengesankan yang Anda lihat?
Prof. Eckehard Steinbach: Karena tes jalan dilakukan oleh Grup BMW, saya tidak berpartisipasi di dalam mobil. Kelompok kami kemudian bekerja dengan rekaman dari tes jalan. Elemen paling mengesankan dari sistem deteksi adalah seberapa cepat prediksi sering terjadi. Saat deteksi, skenario berkendara masih bisa terlihat reguler, misalnya, hanya untuk lalu lintas di perempatan berikutnya berubah menjadi lingkungan yang rumit dan ramai di mana manusia mengambil alih untuk memastikan keselamatan beberapa detik kemudian.
Tech Briefs: Apa yang masih sulit dideteksi oleh mobil otonom?
Prof. Eckehard Steinbach: Tantangan penting dalam berkendara otonom adalah data baru atau out-of-distribution. Jika mobil masuk ke situasi yang belum dilatih atau melihat objek yang tidak dikenal, masalah dapat timbul. Skenario baru ini menyebabkan intervensi manusia, yang mengarah pada skenario tersebut digunakan sebagai data pelatihan untuk pendekatan kami. Meskipun metode kami kemudian dapat membantu mendeteksi lingkungan yang menantang baru ini saat berikutnya ditemukan, mendeteksi dan mengelola dengan benar skenario yang sepenuhnya baru saat pertama kali ditemukan tetap merupakan tugas yang menantang.
Apa pendapat Anda? Bagikan pertanyaan dan komentar Anda di bawah.
