Kecerdasan Buatan di Mobil — Di Dalam Otak

Kendaraan otonom (AV), atau bahkan kendaraan dengan sistem bantuan pengemudi canggih (ADAS), mengandalkan data dari banyak sensor — beberapa kamera, lidar, radar, dan terkadang bahkan sonar. Berurusan dengan aliran data yang berasal dari rangkaian sensor ini, adalah tugas yang besar dan pada saat yang sama, kritis. Semua data itu harus diubah menjadi informasi secara real time agar dapat digunakan untuk mengemudikan mobil dengan aman setidaknya serta jika pengemudi manusia yang sempurna memegang kendali. “Di jalan, pengemudi manusia perlu waspada dengan lingkungan mereka saat ini, berinteraksi dengan pengemudi lain, dan membuat keputusan. Seperti pengemudi manusia, AV juga harus memahami, berinteraksi, dan membuat keputusan. Selanjutnya, AV harus membangun hubungan yang baik dengan penumpangnya.” ¹

Fungsi-fungsi ini bergantung pada kecerdasan buatan (AI) untuk mengasimilasi data dari sensor yang berbeda dan menggabungkannya untuk gambar instan kendaraan dan lingkungan dinamisnya — proses yang disebut sensor fusion. Secara optimal untuk penggunaan otomotif, AI menggunakan jaringan saraf dalam (DNN). Dimodelkan pada cara informasi diproses oleh otak manusia, DNN belajar bagaimana melintasi dunia nyata mengemudi dengan belajar dari pengalaman, bukan dengan diberitahu apa yang harus dilakukan oleh seorang programmer. DNN bekerja dengan menerima banyak masukan, menetapkan bobot yang berbeda untuk mereka dan menarik kesimpulan. Ini membutuhkan platform komputasi berperforma sangat tinggi namun hemat energi untuk melakukan semua itu dalam "waktu nyata". Ini dapat dipercepat dengan menggunakan akselerator pemrosesan.

Menerapkan AI ke dalam Tindakan

Untuk mempelajari apa yang menjadi platform AI otomotif berperforma tinggi, saya mewawancarai Gil Abraham dari CEVA, Inc. tentang alat mereka untuk mengimplementasikannya.

Unit Bisnis Visi dan AI CEVA memiliki apa yang disebut Abraham sebagai tiga pilar:NeuPro-M, yang merupakan prosesor AI; SensPro, yang merupakan prosesor sinyal digital (DSP) hub sensor kinerja tinggi; dan perangkat lunak CDNN-Invite. CDNN-Invite memungkinkan produsen untuk memasukkan akselerator DNN milik mereka sendiri untuk bekerja sama dengan prosesor NeuPro-M AI CEVA serta SensPro DSP dan menikmati satu sistem terpadu yang dapat dikelola secara terpusat oleh memori yang sama dan kit pengembangan perangkat lunak aliran ( SDK).

SensPro DSP dapat melakukan pemrosesan sinyal pada input dari banyak sensor yang berbeda, termasuk beberapa lidar, radar, dan kamera dan menggabungkannya — sebuah proses yang disebut sensor fusion, yang mengumpulkan input dari banyak sensor. Ini sangat penting untuk penggunaan otomotif karena setiap sensor memiliki batasannya sendiri.

Misalnya:

• Kamera dapat memiliki resolusi yang sangat tinggi sehingga dapat merasakan detail yang halus. Tetapi Anda biasanya membutuhkan lebih dari satu untuk menutupi titik buta kendaraan, tampilan belakang, tampilan surround, dan beberapa kamera menghadap ke depan dengan panjang fokus yang berbeda. Setiap kamera akan menyediakan aliran data terpisah. Selain itu, kamera tidak dapat diandalkan untuk berfungsi dengan baik di malam hari atau jika menghadap ke matahari.

• Radar berfungsi dengan baik di malam hari dan dapat memberikan pengukuran jarak. Tapi itu tidak memiliki resolusi yang cukup tinggi untuk melihat lokasi yang tepat dari suatu objek atau membedakan antara beberapa objek yang dekat satu sama lain. Ini dapat gagal mendeteksi objek yang diam atau bergerak lambat dan juga tidak dapat mendeteksi "semantik" pemandangan:warna dan bentuk objek — untuk itu Anda memerlukan kamera.

• Lidar bertindak sebagai sumber cahayanya sendiri sehingga berfungsi dengan baik baik dalam kegelapan maupun siang hari. Ini juga menyediakan data pengukuran yang cepat dan akurat dengan resolusi yang cukup tinggi untuk deteksi ruang bebas real-time yang tepat sambil melacak beberapa objek dalam sebuah adegan. Tetapi untuk memiliki titik data lidar yang cukup, Anda memerlukan lima atau enam perangkat mahal yang dipasang di kendaraan.

SensPro DSP dapat mengambil input dari ini, serta sensor time of flight (ToF), unit pengukuran inersia (IMU), algoritma proses yang efisien untuk lokalisasi dan pemetaan simultan (SLAM) dan menggunakan semuanya, dapat menciptakan "kesadaran kontekstual" — gambaran lengkap tentang situasi mobil dan lingkungannya. Anda juga dapat menambahkan set instruksi khusus di perangkat keras untuk mendapatkan akselerasi tambahan dari pemrosesan spesifik lainnya jika diperlukan.

Mengintegrasikan Sistem

NeuPro-M mengatasi banyak tantangan utama fungsi kendaraan otonom termasuk kecepatan tinggi dan operasi skalabel latensi rendah, daya pengoperasian rendah, keamanan tinggi, dan kemampuan untuk memenuhi persyaratan fungsional standar ISO 26262 untuk sistem kelistrikan/elektronik terkait keselamatan pada kendaraan jalan produksi. Ini juga skalabel, jadi misalnya, dapat digunakan untuk sensor tunggal, kumpulan sensor di suatu zona, atau bahkan dapat disematkan sebagai bagian dari unit kontrol mesin (ECU) mobil.

Arsitektur Platform AI Otomotif Berperforma Tinggi

Fungsi prosesor CEVA NeuPro-M AI adalah untuk membuat keputusan mengemudi tingkat tinggi. Keputusan ini didasarkan pada input DNN yang memberikan informasi situasional, seperti:Apakah ada mobil yang melaju; adalah mobil tinggal di jalur; apa lokasi absolut (SLAM)?

Prosesor NeuPro-M AI adalah pengambil keputusan tentang tindakan apa yang harus diambil, berdasarkan informasi yang diterimanya. AI membutuhkan sejumlah besar perhitungan untuk membuat keputusan, dan ini harus dilakukan hampir secara real time. Oleh karena itu dibutuhkan prosesor yang kuat. Untuk aplikasi otomotif, perlu juga meminimalkan konsumsi daya — karena jumlah perhitungan meningkat dan waktu untuk melakukannya berkurang, daya yang dikonsumsi meningkat. Ukuran kinerja prosesor dapat diringkas dalam satu angka:operasi tera per detik per watt (TOPS/watt) — semakin tinggi angkanya, semakin baik kinerjanya. Efisiensi daya NeuPro-M adalah 24 TOPS/watt, yang secara signifikan lebih tinggi daripada kebanyakan prosesor AI otomotif lainnya.

Keamanan adalah yang paling penting — bahkan, Anda dapat mengatakan bahwa keamanan dan keselamatan adalah persyaratan paling penting untuk aplikasi otomotif. Prosesor AI dalam kendaraan otonom adalah pengemudi yang bertanggung jawab. Jaringan saraf yang melakukan pemrosesan AI menetapkan bobot untuk setiap inputnya, dan bobot tersebut rentan terhadap gangguan berbahaya. Oleh karena itu, sistem keamanan merupakan bagian integral dari prosesor untuk menjaga dari serangan tersebut.

Mengoptimalkan Performa

Untuk mengoptimalkan kinerja, penting untuk disadari bahwa tidak peduli seberapa cepat prosesor, sistem dapat mengalami kemacetan karena keterbatasan bandwidth pada pergerakan informasi ke prosesor, terutama karena keterbatasan antarmuka sistem dalam hal memori. Unit komputasi bekerja jauh lebih cepat daripada waktu yang diperlukan untuk menyimpan dan mengambil data dalam jumlah besar untuk menginformasikan memori. Salah satu cara untuk mengatasinya adalah dengan mengarahkan aliran data yang berkelanjutan ke prosesor daripada menunggu informasi yang cukup untuk melakukan perhitungan tertentu.

Cara lain untuk mengoptimalkan kinerja adalah menjadi adaptif — menggunakan topologi adaptif modular. Topologi prosesor dapat dioptimalkan untuk memproses berbagai jenis sensor dan melakukan berbagai jenis operasi. Salah satu fungsi, misalnya, mungkin untuk mengoptimalkan efisiensi powertrain, yang membutuhkan banyak perhitungan, atau di sisi lain mungkin hanya memproses satu sensor.

Jika Anda perlu menghitung sesuatu dengan sangat akurat, Anda bisa menggunakan aritmatika floatingpoint alih-alih fixed-point, di dalam prosesor vektor. Cara lain untuk mengatasi pengurangan bandwidth, adalah dengan mengompres data, sehingga Anda tidak perlu memindahkan semuanya ke dalam sistem. Ini adalah perbaikan perangkat lunak, tetapi Anda juga harus berupaya mengoptimalkan DSP dan prosesor AI, juga, dengan melakukan penelusuran mendalam untuk mengatasi semua hambatan di setiap area ini.

Pemrosesan Paralel

Prosesor NeuPro-M (NPM) memiliki tiga bagian (Lihat Gambar 2):Kontroler master; subsistem umum NPM; dan mesin NPM. Prosesor dapat mencakup di mana saja dari satu hingga delapan mesin, yang dapat dipilih untuk memenuhi kebutuhan aplikasi tertentu. Operasi prosesor dapat diskalakan dengan memilih jumlah mesin. “Begitulah cara Anda mendapatkan lebih banyak tenaga kuda,” kata Abraham.

Subsistem umum NPM selalu berkomunikasi dengan mesin NPM. Saluran tersebut dipantau untuk memastikan tidak menjadi hambatan — untuk memastikan data akan terus mengalir ke dalam sistem. AI inferensi berjalan dengan dua set data:data itu sendiri, mungkin gambar; dan bobot, yang diterapkan pada data untuk melakukan inferensi. Subsistem umum menjaga saluran tetap terbuka dengan menerapkan kompresi pada data dan bobot.

Pemrosesan paralel dapat diimplementasikan baik dengan menggunakan beberapa mesin dan juga menggunakan koprosesor di dalam mesin, yang masing-masing berisi lima koprosesor dan memori internal bersama.

Contoh — Mengontrol Kendaraan dengan NPM Empat Mesin

Gambar 3 mengilustrasikan aplikasi otomotif sederhana dari pemrosesan paralel. Sisi kiri gambar menunjukkan gambar jalan, yang ditangkap oleh kamera depan. Sebuah prosesor di dalam kendaraan memblokir jalur yang berlawanan untuk menyederhanakan perhitungan yang diperlukan agar kendaraan tetap terpusat di sisi jalan dan menyimpan gambar dalam memori. Gambar yang disimpan adalah masukan dari memori kendaraan ke subsistem umum NPM, yang dalam contoh ini melayani empat mesin. Perangkat lunak kemudian memutuskan apa kasus penggunaannya — apa yang dibutuhkan — dan bagaimana membagi gambar untuk mencapai kinerja maksimum dengan daya minimum (pemanfaatan tinggi) untuk fungsi yang diinginkan. Dalam hal ini, NPM membagi gambar menjadi empat bagian, dengan beberapa tumpang tindih, dan setiap bagian dikirim ke mesin yang berbeda. Inferensi AI kemudian dijalankan di masing-masing dari empat segmen jalan. Keempat segmen kemudian disatukan kembali ke dalam memori subsistem, dari mana ia dikeluarkan ke lapisan persepsi di tempat lain di SoC, untuk melakukan tugas yang diinginkan.

Contoh ini mengilustrasikan dua tingkat pemrosesan paralel, satu dengan menggunakan empat mesin untuk mengerjakan segmen gambar yang berbeda dan di dalam setiap mesin, pemrosesan paralel dengan berbagi perhitungan di antara lima koprosesor internal.

Pengoptimalan Melalui Perangkat Lunak

AI berfungsi terutama melalui konvolusi, yang merupakan operasi matematika pada dua fungsi yang menghasilkan fungsi ketiga yang mengungkapkan bagaimana bentuk yang satu dimodifikasi oleh yang lain. Matematikawan Shmuel Winograd menciptakan metode baru untuk melakukan konvolusi dalam setengah dari jumlah langkah biasa. CEVA menerapkan ide teoretis ini dalam prosesor mereka untuk mencapai presisi yang sama seperti yang akan dicapai dengan konvolusi normal, tetapi dengan akselerasi hampir 2x — peningkatan kinerja dengan pengurangan daya. Ini dapat dilakukan di masing-masing dari lima koprosesor di dalam mesin.

Trik lain adalah beroperasi secara berbeda pada tipe data yang berbeda, tergantung pada mana yang akan optimal untuk aplikasi tertentu. Misalnya, simultan lokalisasi dan pemetaan (SLAM), membutuhkan akurasi yang sangat tinggi sehingga Anda harus menggunakan aritmatika floating point. Untuk aplikasi lain, jumlah bit yang tetap akan sempurna. Dengan cara ini, produsen mobil dapat memilih metode komputasi yang paling sesuai untuk setiap fungsi di dalam kendaraan.

Dengan menggunakan manipulasi perangkat lunak dan pengoptimalan perangkat keras, Anda dapat memperoleh akselerasi yang signifikan — hingga 16x dengan NeuPro-M menurut Abraham.

Menjumlahkannya

Ini adalah gambaran umum tentang fungsi internal prosesor AI tertentu saat memproses data dari berbagai sensor — radar, lidar, sonar, kamera — dan membuat keputusan. NPM adalah prosesor yang heterogen — dapat beroperasi pada tipe data yang berbeda dan mengoptimalkan operasinya yang diukur dengan TOPS/watt dengan menggunakan dua tingkat pemrosesan paralel serta desain perangkat lunak yang ditargetkan.

1. Fang Chen, PhD, Laporan Penelitian SAE Edge — Masalah yang Belum Diselesaikan dalam Otonomi Kendaraan, Kecerdasan Buatan, dan Interaksi Manusia-Mesin.

Artikel ini ditulis oleh Ed Brown, Editor Teknologi Sensor. Untuk informasi lebih lanjut, hubungi Ed di Alamat email ini dilindungi dari robot spam. Anda perlu mengaktifkan JavaScript untuk melihatnya. atau kunjungi di sini .