Menambahkan kecerdasan tepi:wawancara dengan NXP

Topik utama hari ini dan jelas tercakup dalam banyak pembicaraan di dunia tertanam 2021 adalah adopsi komputasi tepi yang luas untuk memungkinkan kecerdasan tepi. Beberapa proyeksi memperkirakan 90% dari semua perangkat edge akan menggunakan beberapa bentuk pembelajaran mesin atau kecerdasan buatan pada tahun 2025.

Apa masalah seputar mengaktifkan kecerdasan tepi ini, dan bagaimana Anda mewujudkannya? Ini adalah topik percakapan dalam podcast baru-baru ini dengan Ron Martino, wakil presiden senior dan manajer umum bisnis pemrosesan tepi di NXP Semiconductors. Meskipun Anda dapat mendengarkan podcast lengkapnya di sini, kami menyajikan beberapa kutipan dari diskusi di artikel ini.

Mendefinisikan komputasi tepi

Pada intinya, edge computing adalah kemampuan untuk pemrosesan yang efisien lebih dekat ke pengguna. Kami dapat memberikan wawasan yang lebih cepat ke data. Dapatkah Anda mendefinisikan komputasi tepi dalam konteks bagaimana NXP menanganinya?

Martino :Komputasi tepi secara sederhana adalah komputasi lokal terdistribusi dan kemampuan sensorik. Ini secara efektif menafsirkan, menganalisis, dan bertindak pada data sensor untuk melakukan serangkaian fungsi yang berarti. Itu tidak mencoba menjadi pengganti atau alternatif untuk cloud, itu menjadi gratis. Secara klasik, dalam bantuan suara misalnya, banyak data dikirim ke cloud di mana kapasitas komputasi yang lebih tinggi digunakan untuk meningkatkan pengalaman. Komputasi tepi berkembang menjadi lebih pintar, dan kemudian lebih cerdas. Komputasi tepi cerdas menyeimbangkan penggunaan komputasi lokal dengan komputasi pusat atau cloud. Saat ini berkembang lebih jauh, ada lebih banyak kecerdasan di mana kami ingin perangkat akhir memiliki lebih banyak kemampuan untuk melakukan interpretasi, analisis, dan kemudian membuat keputusan secara lokal.

Dapatkah Anda memberikan beberapa contoh bagaimana edge computing digunakan untuk memungkinkan produktivitas dan keamanan yang lebih baik?

Martino :Dalam hal produktivitas, contoh yang bagus adalah peningkatan tenaga kerja:memanfaatkan pemrosesan canggih atau perangkat yang dapat dikenakan yang diaktifkan dengan visi dan pembelajaran mesin, di mana seorang pekerja dapat mendiagnosis masalah, dan memperbaikinya dengan lebih cepat, baik di rumah maupun di pabrik .

Perangkat edge cerdas meningkatkan keamanan dengan mengenali berbagai sinyal berbahaya:dengan mengenali alarm, seseorang yang jatuh, atau kaca pecah, dan kemudian menentukan masalahnya dengan menggunakan informasi dan komputasi sensor tambahan. Baik itu menggunakan perangkat penginderaan radar yang dikembangkan NXP, apakah itu menggunakan kemampuan penglihatan, atau hanya interpretasi input audio ke dalam perangkat.

Jika kita beralih ke kesadaran yang lebih hijau dan energi, satu konsep yang harus dibahas adalah tentang kekuatan vampir, di mana Anda mencolokkan perangkat dan mereka tidak melakukan apa-apa selain tetap mengonsumsi daya.

Kami juga beralih ke konsep 'sadar tepi' di mana perangkat merespons lebih dalam perilaku seperti manusia. Mereka mulai memahami lingkungan mereka, mereka mengumpulkan input dan berinteraksi dengan perangkat lain untuk mengumpulkan informasi dan memahami konteks situasi, dan kemudian mengambil keputusan yang sesuai. Contoh praktis sederhana dari hal ini adalah pola lalu lintas dengan kemampuan lokal yang dapat menafsirkan keramaian dan titik kemacetan yang berbeda dan mengoptimalkan situasi secara lokal, dengan mengamati dan merasakan jumlah mobil dan kondisi untuk membuat mengemudi lebih efisien sehingga Anda tidak membuang waktu.

Teknologi yang memungkinkan kecerdasan tepi

Dari perspektif teknologi, apa saja bagian yang membentuk kecerdasan dan kecerdasan itu?

Martino :Mari kita mulai dengan yayasan. Anda harus memiliki platform komputasi, dan mereka perlu melakukan penskalaan. Mereka harus hemat energi. Tidak seperti di masa lalu, sekarang ini benar-benar tentang beberapa subsistem komputasi heterogen yang independen. Itu pada dasarnya memiliki GPU, CPU, unit pemrosesan jaringan saraf, unit pemrosesan video, dan DSP.

Bagaimana Anda mengoptimalkan akselerator perangkat keras dan perangkat komputasi yang berbeda ini dan mengoptimalkan untuk aplikasi akhir tertentu? Di situlah NXP benar-benar unggul dalam memiliki rentang komputasi yang dapat diskalakan dengan semua elemen lainnya ini. Lalu ada integrasi akselerator atau kemampuan perangkat keras yang dioptimalkan yang ditargetkan pada aplikasi suara, interaksi manusia-mesin, yang melibatkan penglihatan dan suara bersama-sama, dan kemudian melakukan ini dengan cara yang benar-benar melibatkan kebocoran sangat rendah dengan mode operasional yang dapat menyesuaikan diri benar-benar mengoptimalkan penggunaan energi, bahkan dengan memori on-chip yang besar ini, yang diperlukan saat Anda melihat beberapa beban kerja.

Ini berlanjut ke optimalisasi kemampuan pembelajaran mesin, integrasi keamanan dengan tingkat cakupan tertinggi untuk banyak permukaan serangan yang berbeda, konektivitas yang efisien, penggunaan energi yang efisien, serta standar terbuka. Ini juga dapat memanfaatkan teknologi yang ditawarkan NXP, seperti pengukuran jarak dengan akurasi tinggi, apakah menggunakan teknologi UWB kami untuk menemukan, dengan cara yang sangat akurat, lokasi fisik orang atau perangkat pelacak tertentu.

Hal terakhir adalah membungkus ini semua dalam pengalaman pengguna yang mulus karena jika tidak mudah digunakan, dan tidak alami untuk digunakan, maka itu tidak akan digunakan. Jadi, mendapatkan pengalaman yang mulus dan nyaman di tempat sangatlah penting.

Bagaimana cara pengguna membangun solusi seperti itu?

Martino :Kami menawarkan semuanya, mulai dari penawaran dasar prosesor atau mikrokontroler, hingga platform referensi yang dioptimalkan sebelumnya untuk suara lokal, untuk penglihatan, deteksi, dan kemampuan inferensi, atau kombinasi dari semuanya. Kami mengumpulkan platform referensi yang dapat dibeli pelanggan, seperti rangkaian perangkat RT kami. Kami memiliki penawaran pengenalan wajah yang dapat dibeli, dan itu adalah sistem yang sepenuhnya diaktifkan dan dirancang yang dapat digunakan pelanggan sebagai titik awal dalam memodifikasi kebutuhan mereka di mana mereka ingin mengkhususkan diri atau di mana mereka ingin mereknya.

Perbedaan teknologi dalam kasus penggunaan konsumen dan industri

Sebagian besar industri akan setuju bahwa perangkat dan sistem cerdas di rumah dan tempat kerja kita mendapatkan daya tarik. Apa saja perbedaan teknologi antara IoT lama, seperti yang akan Anda katakan, dan pasar industri?

Martino :Standar konektivitas, persyaratan lingkungan, kebutuhan umur panjang (yang bisa lebih dari 15 tahun), dan persyaratan keselamatan jauh lebih luas dan menuntut di ruang industri jika Anda membandingkannya dengan dunia IoT [konsumen]. Satu area yang diinvestasikan NXP adalah jaringan peka waktu (TSN), dan integrasi Mac dan beralih ke seluruh rangkaian perangkat yang dapat mendukung pengaturan daisy chain dari beberapa mesin, bekerja dan mendukung fungsi titik akhir, memanfaatkan ini lebih deterministik Tulang punggung TSN, yang juga mendukung kecepatan data dan throughput yang jauh lebih tinggi yang digabungkan dengan banyak standar lama.

Bandingkan ini dengan pasar IoT [konsumen]. Ada kebutuhan yang jauh lebih luas untuk efisiensi energi ekstrem, penggunaan HMI suara yang lebih tinggi, konektivitas nirkabel, dan siklus hidup yang lebih pendek untuk aplikasi seperti rumah pintar dan perangkat yang dapat dikenakan. Di bagian depan yang dapat dikenakan, Anda menginginkan pengalaman pengguna yang luar biasa, tetapi Anda menginginkan masa pakai baterai yang paling lama. Optimalisasi perangkat edge ini untuk menjalankan fungsinya, tetapi kemudian mematikan dan menghemat masa pakai baterai sangatlah penting, dan pengalaman pengguna yang sangat kaya itu harus dilakukan dengan cara yang paling efisien, karena pada saat itulah baterai habis.

Tantangan interoperabilitas

Di area rumah pintar, seringkali sulit untuk mengambil produk dari satu perusahaan dan membuatnya bekerja dengan perangkat lain juga. Bagaimana NXP mencoba mengubah tantangan interoperabilitas nirkabel rumah pintar itu?

Martino :Melihat perangkat rumah pintar sebagai contoh, standar dan kemampuan interoperabilitas sangat terfragmentasi. Kami memiliki proyek bernama CHIP, atau "Connected Home over IP", proyek standar. Ini memiliki NXP serta sejumlah pemimpin industri lainnya yang bekerja sama untuk mencoba mengkonsolidasikan, bukan ke standar kepemilikan, tetapi ke standar terbuka yang umum di semua industri, dan memungkinkan orang untuk membangun standar terbuka ini.

Fokus proyek ini adalah untuk membangun selama bertahun-tahun pekerjaan yang telah dilakukan NXP dan lainnya di sekitar ZigBee dan Thread dan ZigBee Alliance, dan kemudian membangunnya dengan kemampuan lapisan atas, memanfaatkan teknologi yang dimiliki Amazon, Apple, dan Google telah meluncurkan untuk membangun standar terbuka ini yang kami rujuk sebagai CHIP, dan membangun hubungan umum antar perangkat ini. Saat Anda mencolokkan sesuatu, akan sangat mudah untuk menghubungkannya.

Rencana NXP adalah untuk memiliki produk yang sebenarnya di pasar akhir tahun ini, dengan versi pertama dari standar CHIP.

Mengatasi kerumitan dan biaya penambahan kecerdasan tepi

Beralih ke pembelajaran mesin dan AI yang canggih. Kedengarannya agak rumit dan mahal bukan?

Martino :Bagi banyak orang, ketika Anda berbicara tentang AI dan ML, itu adalah konsep abstrak yang sangat kompleks. Ada proyeksi bahwa 90% dari semua perangkat edge akan menggunakan beberapa bentuk pembelajaran mesin atau kecerdasan buatan pada tahun 2025. Kami benar-benar yakin itu masalahnya, dan kami meluncurkan produk yang dioptimalkan untuk hal ini. Ini adalah kombinasi dari apa yang kami lakukan untuk mengoptimalkan perangkat keras yang digunakan, prosesor dan mikrokontroler untuk menjalankan kemampuan ini. Untuk pengguna akhir, ini lebih tentang seberapa rumit penerapan ML praktis yang berarti bagi kasus penggunaan akhir.

Ada banyak perusahaan yang ingin mengumpulkan data dan membuat model mereka sendiri. Apa yang menjadi fokus NXP adalah, bagaimana kami mengaktifkan kemampuan agnostik cloud yang memungkinkan fleksibilitas dalam antarmuka pengguna atau lingkungan pengembangan yang sederhana?

Itulah yang baru-baru ini kami umumkan dengan investasi kami dengan Au-Zone, dan pada tahun 2021 akan meluncurkan lingkungan pengembangan yang disempurnakan di mana Anda dapat memilih jenis konten yang Anda bawa. Data Anda sendiri, model yang Anda miliki, atau model yang Anda telah memilih untuk memperoleh melalui sumber atau penyedia cloud favorit Anda, dan membawanya, lalu mengoptimalkannya, dan menyebarkannya ke perangkat akhir. Karena itu pengoptimalan itu.

Bagaimana pembelajaran mesin meningkatkan biaya solusi akhir?

Martino :Jika Anda memiliki model atau kemampuan machine learning yang sangat kompleks dan berat, itu akan membutuhkan kemampuan komputasi yang jauh lebih tinggi, dan semakin tinggi kemampuan komputasinya, semakin mahal biayanya. Anda dapat memilih untuk melakukannya pada prosesor edge, atau Anda dapat memilih untuk menerapkannya ke cloud. Ketika kami mencoba untuk menyesuaikan kasus penggunaan ini atau model ini untuk kasus penggunaan tertentu, Anda kemudian dapat menjadi sangat efisien, dan kemudian Anda dapat memanfaatkan penskalaan teknologi tradisional dan hukum Moore untuk benar-benar menambahkan akselerasi perangkat keras khusus untuk ML, yang tidak memakan banyak waktu. banyak area silikon.

Ini menjadi penambah biaya kecil, tetapi kemampuan yang sangat optimal untuk melakukan pekerjaan tertentu yang Anda inginkan. Baik itu mendeteksi orang dan mengidentifikasi siapa mereka secara lokal, sebagai salah satu contoh, Anda dapat melakukannya dengan sangat efisien pada mikrokontroler sekarang, yang dioptimalkan dengan implementasi silikon yang sangat, sangat efisien. Kemudian Anda dapat membuatnya skalabel juga dengan beberapa prosesor kami, di mana Anda dapat menskalakan ke prosesor jaringan saraf eksternal berkinerja lebih tinggi, atau Anda bekerja secara gratis dengan cloud. Sekali lagi, semua memiliki biaya untuk mereka, dan itu tergantung pada kompleksitas tugas, tetapi itu bisa sangat efisien hingga kemampuan yang sangat kompleks yang dapat Anda luncurkan.

AI Etis

Kekhawatiran tentang bias dalam model ML dan AI semakin meningkat. Apa peran industri dalam membantu memastikan AI yang beretika?

Martino :Perlu transparansi operasi yang jelas, apakah itu konsep sederhana di sekitar, "Saya ingin tahu itu mendengarkan saya atau menonton saya," tetapi juga, bagaimana menentukan kesimpulannya untuk kemudian mengambil tindakan menjadi sangat penting. Standar keamanan untuk memastikan bahwa sistem aman dan tidak memiliki akses pintu belakang atau sensitivitas atau kerentanan lain dalam hal permukaan serangan mereka, sehingga seseorang dapat mengakses sistem AI dan kemudian memengaruhinya untuk melakukan hal-hal tertentu atau membuat keputusan tertentu yang mungkin menguntungkan orang yang menyerang sistem.

Bagaimana Anda menerapkan sistem AI yang tidak memiliki bias preset yang, dari dasar prinsip, salah? Di NXP, kami telah meluncurkan inisiatif etika AI, yang menggarisbawahi komitmen kami terhadap pengembangan etika ini. Di dalamnya, kami berbicara tentang menjadi baik, kami berbicara tentang melestarikan AI yang berpusat pada manusia, yang sebenarnya adalah menghindari subordinasi, atau paksaan oleh sistem AI, serta transparansi ini, standar tinggi untuk keunggulan ilmiah, serta kepercayaan. dalam sistem AI.

Tantangan apa yang Anda lihat tetap ada dengan menerapkan teknologi mutakhir?

Martino :Ini adalah kegiatan yang sedang berlangsung dan ada banyak area untuk pengoptimalan lanjutan. Efisiensi energi, dan mendorong dan memanfaatkan konsep pemanenan energi, dan pengoperasian perangkat yang mendekati ambang batas merupakan investasi berkelanjutan oleh banyak orang di industri ini. Keamanan dan kebutuhan untuk melindungi data dan terus memajukan ini adalah aktivitas yang berkelanjutan.

Investasi dalam tanda tangan khusus silikon, dan berbagai jenis kriptografi, dan cara melakukan komputasi dengan cara yang dilindungi seperti enkripsi homomorfik, melakukan perhitungan dalam lingkungan terenkripsi dan tidak pernah mendekripsinya. Kemudian memperluasnya di sekitar konektivitas throughput dalam persyaratan latensi, serta konsumsi daya. Untuk mengoptimalkannya, kami akan terus mengoptimalkan konektivitas, dan menghadirkannya ke perangkat edge ini dengan cara yang lebih efisien.

Akhirnya, seluruh konsep kecerdasan akhir yang sadar ini, kami berada di generasi ketiga dalam mengembangkan dan mengimplementasikan prosesor atau subsistem jaringan saraf yang masuk ke prosesor kami. Itu mendorong peningkatan efisiensi dan penskalaan, tetapi ada penelitian lanjutan di bidang ini dalam hal mendorong tingkat efisiensi yang lebih tinggi dengan akselerator, dan berbagai teknologi seputar spiking neural nets, serta AI kuantum. Dalam waktu dekat, jelas, kita akan melihat evolusi lanjutan seputar akselerator yang lebih tradisional, dan integrasinya ke dalam prosesor skalabel yang dibawa NXP ke pasar.

Anda dapat mendengarkan podcast 27 menit penuh, “Memberdayakan keunggulan di mana-mana”, di sini.