Membuka Wawasan Edge yang Dapat Dikonversikan dengan AI & ML
Pertumbuhan meledaknya perangkat dan aplikasi Edge memerlukan pemikiran baru tentang di mana dan bagaimana data dianalisis, dan wawasan diperoleh. Opsi Edge computing baru, dipadukan dengan persyaratan kecepatan-ke-wawasan yang lebih menuntut dalam banyak kasus penggunaan, mendorong penggunaan kecerdasan buatan (AI) dan pembelajaran mesin (ML) dalam aplikasi Edge.
Di mana AI dan ML diterapkan (di Edge atau di pusat data atau fasilitas cloud) adalah hal yang kompleks. Untuk mendapatkan beberapa wawasan tentang strategi dan praktik terbaik saat ini, kami baru-baru ini duduk bersama dengan Said Tabet, Chief Architect, AI/ML & Edge; dan Calvin Smith, CTO, Emerging Technology Solutions; keduanya di Office of the Global CTO di Dell Technologies.
Kami membahas kebutuhan yang meningkat untuk AI dan ML untuk memberikan arti pada jumlah besar data Edge yang dihasilkan saat ini, persyaratan komputasi untuk AI/ML dalam aplikasi Edge, dan apakah komputasi semacam itu harus dilakukan di Edge atau di pusat data atau fasilitas cloud.
Tren Emergen
RTInsights: Apa yang menjadi tren emergensi saat ini, dan bagaimana AI dan ML masuk ke dalam diskusi Edge?
Tabet: Saat ini, ketika orang berbicara tentang tren emergensi, mereka sering menyebutkan banyak hal seperti Edge, IoT, AI/ML, augmented reality, virtual reality, blockchain, dan 5G. Kami memosisikan Edge sebagai hal berikutnya dalam hal ke mana kami pergi dengan teknologi ini — bukan hanya tren, tetapi adopsi nyata. Saya pikir dari sudut pandang data dan experience pengguna, ada kebutuhan akan wawasan, dan berkat ketidaksabaran kita sebagai manusia, dikombinasikan dengan masalah latensi dunia nyata, untuk mendapatkan wawasan itu secepat mungkin. Juga, gagasan bahwa jika data dimulai di Edge, mengapa kami tidak dapat melakukan sebanyak mungkin tepat di sana dari sudut pandang AI?
Jelas, AI, dan khususnya ML, boros dalam hal jumlah data yang dibutuhkan. Ia perlu belajar dengan cepat. Apa yang sebenarnya dapat kita lakukan di Edge? Saya pikir itulah tempat diskusi ini dimulai. Blockchain atau buku besar terdistribusi adalah area pertimbangan lain di sini. Biasanya, Anda akan melihat kebutuhan akan banyak kepercayaan, terutama dari sudut pandang data. Juga perlu ada kepercayaan pada wawasan yang kami hasilkan, bagaimana kami bereaksi, dan item yang dapat ditindaklanjuti yang datang dari temuan ini. Ini membawa kebutuhan tambahan dari sudut pandang keamanan, privasi, dan tata kelola secara keseluruhan. Anda perlu mempertimbangkan semua ini dalam pengalaman itu, baik Anda seorang pelaku bisnis, atau individu, atau armada kendaraan.
Smith: Jika kita mengambil estimasi umum bahwa ada, katakanlah, antara 20 dan 30 miliar perangkat IoT yang terhubung saat ini. Kembali ke sini, Said, saya pikir itu sekitar 2014 bahwa jumlah perangkat seluler yang terhubung melampaui jumlah orang di dunia, kan? Lalu pada 2017, perangkat IoT juga melampaui populasi manusia global.
Tabet: Ya. Itu benar.
Smith: Ini adalah lompatan yang besar, dan akan terus melompat. Apakah Anda akan mengpekerjakan 27 miliar orang untuk pergi dan memelihara perangkat Edge ini? Lalu, naik melalui tumpukan infrastruktur, jelas, itu bukan pemetaan 1:1, tetapi secara fisik mustahil untuk mengpekerjakan cukup administrator basis data, ilwan data, arsitek, dan insinyur. Sebaliknya, semuanya tentang mendorong otomatisasi dan optimasi di Edge. Hanya volume besar data, dan, seperti yang disebutkan Dr. Tabet, keserapan aplikasi dan fungsi, khususnya di AI. Anda perlu dapat memproses sejumlah besar informasi untuk banyak alasan, salah satunya adalah biaya. Anda ingin menganalisis apa yang sebenarnya data yang berharga di Edge sebelum Anda mulai mengirimkannya ke pusat data atau cloud.
Peran AI/ML dengan Edge
RTInsights: Mengapa kita memerlukan AI/ML ketika kita berbicara tentang Edge?
Tabet: Ada beberapa alasan. Pertama, ada mengapa. Dari sudut pandang otomatisasi, AI dan ML adalah cara untuk mengotomatisasi lebih banyak dan menjadi sedikit lebih disiplin tentang itu, dan Anda melakukannya di Edge. Anda melihatnya hari ini. Ini perlu ditegakkan dengan pandangan ini untuk membangun kontinuitas dari cloud ke Edge, termasuk data plane, atau control plane, dan development kits, dan sebagainya, sehingga pengembang merasa bahwa jika saya menulis untuk Edge, itu sama dengan cloud.
Dari sudut pandang AI, otomatisasi adalah hal yang besar. Di Edge, Anda tidak akan melakukan pemrosesan yang benar-benar dalam sana (yaitu, Deep Learning – DL), setidaknya tidak biasanya. Aspek lain yang menurut saya sangat penting adalah fakta bahwa wawasan yang akan Anda dapatkan sangat cepat di Edge seringkali akan berbeda dari yang akan Anda bawa ke pusat data atau cloud Anda, menghubungkannya dengan jenis informasi lain. Pada titik itu, Anda kehilangan banyak momentum kecerdasan, dalam hal wawasan yang Anda dapatkan, atau pengambilan keputusan yang akan Anda lakukan jika Anda melakukannya di Edge. Tetapi, Edge tetap memerlukan AI. Mereka berpasangan.
Smith: Saya pikir alasan lain adalah bisnis. Semua "benda, sensor,aktuator, perangkat," ini bisa besar seperti rumah terhubung, atau kapal penyeberangan terhubung, atau mobil terhubung. Atau bisa ada di atau pada pabrik, traktor, atau pompa. Cerita pendeknya, semua industri sekarang menjadi komoditas, kan? Ada opsi untuk membangun dan membeli hal-hal di seluruh dunia. Cara perusahaan mencoba membedakan diri adalah melalui layanan dalam asosiasi dengan produk dan aset yang mereka jual. Semakin banyak yang dapat Anda dapatkan nilai, banyak perusahaan beralih dari produk ke layanan. Itu disebut transformasi produk-ke-layanan.
Mereka mencoba menjual aset mereka sebagai layanan. Kadang-kadang itu bahkan adalah perubahan dalam model bisnis dan beralih dari CapEx ke OpEx. Kadang-kadang mereka masih hanya akan menjual sebagai CapEx, tetapi mereka mungkin dapat menjual seperangkat layanan tambahan atau hanya menggunakannya sebagai pembeda ketika produk mereka cerdas dan terhubung. Lagi, seperti yang disebutkan Said, mengoptimalkan dan mengotomatisasi dan dapat menarik data yang tepat pada waktu yang tepat, dan tempat yang tepat memungkinkan perusahaan untuk bersaing. Hanya sekadar memproduksi sebuah barang tidak selalu menghasilkan nilai lagi.
Tabet: Satu hal lagi yang ingin saya tambahkan adalah di Edge, jika kita melihat puluhan atau ratusan ribu perangkat dari satu perusahaan atau organisasi, baik itu di kendaraan otonom, Anda melihat mobil sebagai instance, setiap mobil tersebut mungkin berperilaku berbeda di bawah lingkungan yang berbeda. Belajar dari itu sangat penting saat Anda menggabungkannya. Ini sama dalam otomatisasi industri. Anda dapat melihat turbin angin, mesin dalam pesawat, atau perawatan kesehatan. Dalam banyak lingkungan yang berbeda ini, Anda memiliki performa yang jauh lebih tepat, jauh lebih efisien, lebih baik dari modul AI, atau algoritma AI ketika Anda membawa informasi tersebut kembali ke pusat data atau cloud. Dengan kata lain, sementara ada nilai dalam data dari satu aset, Anda mulai memperoleh wawasan yang benar dari armada aset yang terhubung dan interaksi mereka di lingkungan yang berbeda.
Memutuskan Di Mana Edge AI/ML Harus Dilakukan
RTInsights: Di mana pekerjaan komputasi AI/ML dilakukan untuk aplikasi Edge?
Tabet: Ini kembali ke poin sebelumnya di mana dalam banyak kasus ini, algoritma AI memerlukan sejumlah besar data untuk melatih. Anda melakukannya (dan ada ketidaksetujuan) di pusat data atau di cloud, di lingkungan terpusat di mana Anda dapat memiliki kemampuan komputasi yang canggih. Di Edge, Anda akan menerapkan algoritma ini, dan mereka dapat jauh lebih efisien untuk digunakan untuk tujuan berpengaruh di Edge. Terdapat pembicaraan yang jelas, di titik tertentu, kita akan dapat melakukan beberapa tingkat pelatihan di Edge, juga. Ini akan terbatas di awal karena kendala berat dari sebagian besar lingkungan Edge.
Pertimbangan untuk Edge Computing
RTInsights: Apa yang menjadi persyaratan untuk solusi komputasi di Edge?
Tabet: Nah, ini sangat sulit, karena ada definisi yang berbeda tentang apa yang menjadi Edge. Anda bicara dengan produsen mobil, dan mereka bilang mobil saya adalah Edge. Saat Anda bicara dengan produsen turbin, turbin angin adalah Edge mereka. Perangkat manufaktur di pabrik juga Edge. Mereka akan memiliki lingkungan yang berbeda. Beberapa akan sangat keras. Di Dell, kami telah memiliki banyak pengalaman dengan komputasi di lingkungan yang mungkin mencakup kondisi keras itu dengan getaran yang kuat dan suhu sangat tinggi atau sangat rendah. Satu hal yang akan saya katakan adalah persyaratan nomor satu [untuk solusi komputasi di Edge] adalah konsumsi daya. Itu harus daya rendah. Ini bertentangan dengan apa pun yang kita ketahui, terutama dalam HPC, kan? Anda menggunakan banyak GPU, Anda memiliki panas, dan Anda memerlukan daya. Itu tidak mungkin di lingkungan [Edge] ini. Kami akan harus membawa [komponen komputasi] itu ke bentuk fisik lain, atau mungkin kami bahkan dapat memikirkan dalam hal jenis akselerator yang berbeda, seperti generasi baru dari jenis akselerator khusus AI yang akan hadir dalam beberapa tahun ke depan.
Smith: Hal yang keren dan menarik adalah kami terus-menerus dapat bekerja dengan cara yang dirancang keras untuk lingkungan yang sulit dan dapat bekerja di, katakanlah, minus lima, kadang-kadang 10 derajat Celsius dan kemudian hingga 55-plus derajat Celsius. Seperti yang disebutkan Dr. Tabet, untuk lingkungan berbahaya atau keras, Anda perlu dapat mencegah masalah yang terkait dengan getaran, kejutan, dan segala macam itu. Namun, kami terus-menerus dapat membuat bentuk fisik semakin kecil. Jelas, kami melakukan ini dengan bantuan mitra dan pengembang chip kami.
Yang menarik adalah gagasan untuk membuat bentuk fisik semakin kecil dan lebih dirancang keras, dan pada saat yang sama, membuatnya semudah mungkin untuk dioperasikan dan digunakan. Dari sudut pandang aplikasi, bukan tentang cloud yang dieksekusi di Edge, sepenuhnya, meskipun itu juga bisa terjadi. Ini lebih tentang prinsip cloud-native yang dibawa ke Edge. Kesederhanaan dan kemudahan dengan yang Anda dapat mem-port, baik itu kontainer atau VM [mesin virtual], ke berbagai jenis infrastruktur, dan berbagai jenis lingkungan, dan memiliki satu panduan kaca. Itu kemudian juga dapat memungkinkan lingkungan multi-cloud. Edge dapat menjadi titik kontrol baru Anda, panduan kaca visibilitas baru Anda tentang apa yang terjadi yang menjembatani kesenjangan antara sisi OT, atau teknologi operasional, dan sisi IT. Itu memukau. Ini adalah perbatasan baru untuk eksplorasi, dan ini mendorong banyak peta jalan produk untuk masa depan, menurut saya.
Kasus Penggunaan Edge AI/ML
RTInsights: Bisakah Anda memberikan beberapa contoh aplikasi Edge AI/ML?
Tabet: Satu yang saya kerjakan selama beberapa tahun sekarang adalah tentang tantangan terkait aplikasi mobilitas [seperti kendaraan otonom]. Bekerja dengan beberapa organisasi dan dengan pelanggan kami secara langsung, kami melihat bagaimana kita dapat membawa berbagai kemampuan ke pasar ini. Saya akan abstrak itu sedikit dan memberikan contohnya juga yang dapat memfasilitasi penerapan Edge semacam ini. Ada kasus penggunaan untuk Edge dalam apa yang kita sebut RSU, unit tepi jalan, kendaraan itu sendiri, atau dengan penginderaan yang mereka lakukan. Beberapa contoh ini adalah versi diperpanjang dari apa yang kita sebut HD maps, peta dengan definisi tinggi, di mana peta kaya semantik, didorong konteks, dan diperbarui secara dekat real-time.
Itu adalah satu contoh di mana AI digunakan untuk mengurangi jumlah dan biaya data yang ditransfer. Anda hanya menangani apa yang Anda butuhkan untuk layanan spesifik tersebut. Misalnya, video dapat dikurangi. Anda dapat mengurangi jumlah data. Anda dapat fokus pada objek yang sangat spesifik yang ingin Anda deteksi. Itu adalah jenis contoh di tingkat itu yang dapat membantu.
Contoh lain terkait dengan kesehatan perangkat Edge tersebut, di mana Anda memantau perangkat tertentu, mesin, mobil lengkap, dan sebagainya, dan Anda mencoba melakukan sebanyak mungkin analisis di tingkat kendaraan atau perangkat, khususnya untuk alasan keselamatan (yaitu, pemantauan berbasis kondisi dalam banyak kasus penggunaan IoT).
Ada contoh lain di domain retail juga, di mana Anda akan melihat banyak penerapan Edge, tetapi dengan cara yang berbeda. Dalam arti bahwa Anda memiliki koneksi dari Edge ke cloud ke pusat data, di Edge cloud, seperti yang kita sebut, di mana Anda melakukan sebanyak yang bisa Anda lakukan di Edge. [Edge adalah tempat] Anda mengumpulkan data dan melakukan semua analisis yang diperlukan. Anda menyediakan experience yang lebih baik bagi pengguna akhir, dalam hal retail, misalnya. Anda mencoba untuk mempersonalisasi experience tersebut untuk mereka sehingga Anda dapat meminimalkan biaya, tetapi juga mengoptimalkan layanan.
Saat ini, khususnya dalam situasi yang kita hadapi, ada banyak kasus yang terkait dengan perawatan kesehatan. Seberapa banyak data yang dapat kita kumpulkan dan bereaksi padanya secepat mungkin di Edge? Biasanya kita berbicara tentang lingkungan terdistribusi dalam skala ratusan ribu atau jutaan perangkat, seperti yang dikatakan Calvin. Ini adalah area di mana AI dan ML dapat memainkan peran yang jauh lebih besar. Kami berbicara tentang perubahan data sepanjang waktu, dan dengan kemampuan AI, beberapa aplikasi ini akan menyesuaikan diri mereka sendiri. Pembelajaran terus berlanjut, dan pelatihan terus berlanjut di tingkat itu.
Di semua area ini—perawatan kesehatan, retail, kendaraan otonom, mobilitas secara umum, dan banyak area lain—Anda menurunkan biaya melalui pemeliharaan prediktif atau kondisional. Edge juga memberi Anda kemampuan untuk melakukan kontrol jarak jauh perangkat, jadi jika para ahli Anda tidak dapat dengan aman pergi ke tempat data dikumpulkan, mereka sebenarnya dapat memberikan kemampuan itu secara jarak jauh, dan bahkan menyertakan hal-hal seperti AR atau VR. Tetapi Anda juga melakukan sebagian besar pekerjaan di depan waktu di Edge, sehingga Anda dapat meminimalkan kehadiran mereka, jika diperlukan, secara langsung. Itu hanyalah beberapa contoh.
Smith: Saya akan menambahkan dua lagi yang penting. Satu adalah kami memiliki bisnis besar di sekitar keselamatan dan keamanan. Seperti yang disebutkan Said, Anda mungkin menjalankan algoritma yang sangat besar, dan memproses data untuk hal-hal seperti … nah, biarkan saya memberikan contoh. Bayangkan Anda memiliki skenario di mana ada tembakan di tempat umum, katakan di luar stasiun pengisian bahan bakar. Anda perlu membuat banyak keputusan otomatis dan segera untuk mengetahui tindakan apa yang akan diambil. Satu hal adalah, pikirkan pengenalan tembakan dari sudut audio, tetapi korelasikan dengan pengenalan objek dari sudut visi komputer untuk sebenarnya menunjukkan bahwa itu adalah senjata, dan bukan hanya mobil yang meledak.
Lalu, jika Anda memiliki pelaku yang melakukan ini, Anda juga dapat memiliki algoritma yang sebenarnya cukup sederhana sekarang yang dapat dieksekusi di Edge, tetapi kemungkinan berasal di pusat data, untuk hal-hal seperti pengenalan plat nomor. Lalu, Anda dapat mengidentifikasi plat nomor tersangka yang melarikan diri. Semuanya otomatis dan dieksekusi di Edge. Ada banyak kasus penggunaan di area ini yang melibatkan kamera, dan pengawasan, dan keamanan, dan keselamatan umum bagi warga.
Area kasus penggunaan besar lainnya, yang menurut saya kita akan salah jika tidak menyebutkannya, adalah Deep Learning for Smart Facilities, yang merupakan testbed di Industrial Internet Consortium yang kami mulai cukup lama dengan Toshiba. Seiri pendiriannya, kami juga telah menambahkan SAS dan Wipro, dengan berbagai perusahaan yang membawa berbagai nilai ke meja.
Gagasan asli adalah untuk membangun fasilitas besar yang dirancang sebagai state-of-the-art. Jika saya tidak salah, saya percaya itu dibangun pada 2011, dan sudah memiliki, berapa sensor, Said? Seperti 20.000 sensor atau semacam itu?
Tabet: Lebih dari itu, menurut saya. Itu mungkin 35.000 saat dibangun pada 2011.
Smith: 35.000, kan. Itu adalah fasilitas baru, state-of-the-art, tetapi para desainer ingin mendorong batas dan belajar dan melakukan lebih banyak. Jaringan saraf tiruan diimplementasikan melalui serangkaian server yang terhubung ke parameter server, memungkinkan gedung untuk belajar sendiri dalam asosiasi dengan sistem kritisnya. Kami berbicara tentang hal-hal seperti lift, dan tangga berjalan, dan tentu saja, hal-hal yang mahal seperti sistem HVAC. Gagasan adalah untuk melakukan, setidaknya pada awalnya, deteksi anomali dan mencari korelasi antara hal-hal yang sulit ditemukan oleh orang (tanpa AI).
Misalnya, ada beberapa temuan yang sangat menarik tentang hal-hal yang terjadi di dapur. Data menentukan bahwa hal-hal tersebut sebenarnya meningkatkan biaya, dan karena tindakan tersebut, bagian tertentu ventilasi ditutup. Itu luar biasa apa yang dapat Anda mulai temukan ketika itu adalah data daripada orang yang menyelidiki hal-hal. Kami berbicara tentang jaringan saraf tiruan yang benar, dalam yang belajar sendiri – mengajarkan diri sendiri apa yang harus dicari, mencari korelasi lintas yang orang biasanya tidak akan tentukan sendiri. Saat Anda benar-benar memikirkannya, semuanya ini di "Edge." Semuanya ini dieksekusi dalam gedung. Lalu, beberapa pemrosesan inti, tentu saja, kembali di pusat data.
Tabet: Dalam kasus penggunaan yang lebih baru untuk proyek, kami menambahkan sejumlah perangkat, mirip dengan semua aset ini yang berurusan dengan HVAC dan hal-hal lain dalam gedung. Setiap satu dari mereka dilengkapi dengan algoritma pembelajaran mesin atau algoritma AI mereka sendiri dalam beberapa kasus, dan itu memungkinkan mereka untuk mandiri, tetapi pada saat yang sama, belajar satu sama lain. Kembali ke cerita Calvin, ini dilakukan dengan cara sehingga kita akan melihat lebih dan lebih dari jenis AI otonom ini, jika saya bisa menggunakan istilah itu. Benar, gagasan adalah kita tidak memberinya arahan, tetapi seiring waktu itu akan menstabilkan diri dan belajar sendiri dalam hal parameter dan optimasi produktivitas yang diperlukan.
