Membuka Nilai AI dengan Data Tidak Terlabel: Hologram Menguji Persepsi Otonom

Data adalah darah kehidupan pengembangan kendaraan otonom (AV), mempower model deep-learning yang memungkinkan sistem otonom.

Untuk tetap bersaing, vendor AV mencatat jutaan mil di jalan raya umum, menyimpan petabyte footage mentah. Waymo, misalnya, telah melampaui 10 juta mil dunia nyata dan 10 miliar mil simulasi yang tercatat.

Namun industri jarang bertanya pertanyaan kritis: Berapa besar arsip yang luas yang sebenarnya telah diberi label, dan seberapa akurat label tersebut?

Phil Koopman, pendiri dan CTO Edge Case Research, memperingatkan dalam wawancara EE Times terbaru bahwa “tidak ada yang mampu memberi label semuanya.”

Memberi label data memakan waktu dan mahal

Anotasi memerlukan peninjau ahli untuk menonton klip video singkat dan menggambar kotak pembatas di sekitar setiap kendaraan, pejalan kaki, papan lalu lintas, dan lampu lalu lintas yang relevan untuk algoritma pengemudi otonom. Proses ini melelahkan dan mahal.

Sebuah artikel Medium berjudul “Data Annotation: The Billion Dollar Business Behind AI Breakthroughs” menyoroti kelayakan layanan pemberi label terkelola yang menyediakan kumpulan data domain-specific berkualitas tinggi. Tulisan tersebut mencatat bahwa beberapa startup pengemudi otonom membayar perusahaan ini hingga jutaan dolar per bulan.

IEEE Spectrum melaporkan bahwa Carol Reiley, pendiri dan presiden Drive.ai, mengatakan, “Ribuan orang memberi kotak di sekitar objek. Untuk setiap jam pengemudi, membutuhkan sekitar 800 jam manusia untuk memberi label.” Tim-tim ini kesulitan untuk mengikuti aliran data.

Perusahaan seperti Drive.ai mengeksplorasi asisten anotasi berbasis deep-learning untuk mempercepat proses pemberian label yang melelahkan.

Memanfaatkan data tidak terlabel

Koopman percaya ada alternatif untuk memberi label petabyte footage: memanfaatkan data itu sendiri. Edge Case Research mengembangkan “Hologram,” sistem stres-testing percepsi AI dan analisis risiko yang dirancang untuk mempercepat pengembangan perangkat lunak percepsi tanpa anotasi yang menyeluruh.

Hologram memproses footage tidak terlabel yang sama dua kali. Pertama, ia menjalankan footage melalui mesin percepsi dasar. Kemudian ia memproses ulang klip dengan gangguan halus, menciptakan skenario “stres.” Gangguan mengekspos kelemahan tersembunyi di batas keputusan AI.

Sementara manusia mungkin melihat objek yang buram dan ragu-ragu, AI mungkin melewatkannya sepenuhnya atau mengklasifikasikannya secara salah. Dengan mengungkap kegagalan seperti itu, Hologram membantu pengembang menentukan kondisi tepat yang memicu perilaku salah.

Karena sistem ini beroperasi pada data tidak terlabel, ia melewati hambatan pemberian label sambil masih menyediakan wawasan yang dapat ditindaklanjuti. Hologram menandai scene yang bermasalah dengan bar berwarna: oranye menunjukkan near-miss yang menyarankan pelatihan ulang, dan merah menandai kegagalan lengkap yang mengajak penyelidikan lebih dalam tentang faktor pemicu seperti kebisingan latar belakang atau kontras rendah.

Koopman menekankan bahwa “racun rahasia” Hologram—rekayasa lanjutan dan algoritma proprietary—memungkinkan ia untuk hanya menampilkan anomali yang paling kritis, membuat tinjauan manusia jauh lebih efisien.

Dia juga memperingatkan bahwa kumpulan data publik yang digunakan oleh Hologram terbatas pada komunitas penelitian dan harus dipasangkan dengan mesin percepsi yang sama yang menghasilkan data untuk analisis yang bermakna.

Visualisasi dampak Hologram

Mesin Hologram menyoroti di mana sistem percepsi gagal mendeteksi papan berhenti, mengungkapkan kondisi pemicu seperti latar belakang berisik. (Sumber: Edge Case Research)

Antarmuka Hologram menandai near-misses dengan bar oranye, mendorong pelatihan ulang algoritma, dan bar merah yang menandai kegagalan deteksi lengkap, memungkinkan desainer untuk melacak penyebab seperti kedekatan dengan tiang atau kontras rendah.

Hologram membantu desainer AV mengungkap edge case di mana perangkat lunak percepsi berperilaku aneh, yang berpotensi membahayakan keselamatan. (Sumber: Edge Case Research)

Partnership strategis dengan Ansys

Ansys baru-baru ini mengumumkan kolaborasi dengan Edge Case Research untuk menyematkan Hologram dalam platform simulasi mereka. Tujuannya adalah untuk membangun pipa simulasi komprehensif pertama industri untuk pengembangan kendaraan otonom. Ansys juga bekerjasama dengan BMW, yang bertujuan untuk menyampaikan AV pertamanya pada 2021.

Ansys dan BMW menciptakan rantai alat simulasi untuk Pengemudi Otonom. (Sumber: Ansys)

— Junko Yoshida, Global Co-Editor-In-Chief, AspenCore Media, Chief International Correspondent, EE Times

>> Artikel ini awalnya diterbitkan di situs kami yang serupa, EE Times: “Use Unlabeled Data to See If AI Is Just Faking It.”