Edge AI: Mempercepat Kecerdasan Pada Perangkat dan Mengubah Pasar Konsumen serta Perusahaan

Edge AI: Mempercepat Kecerdasan Pada Perangkat dan Mengubah Pasar Konsumen serta Perusahaan

Pada tahun 2020, analis memperkirakan lebih dari 750 juta chip edge AI—perangkat yang menjalankan atau mempercepat pembelajaran mesin langsung pada perangkat keras—akan dijual, menghasilkan pendapatan sekitar US$2,6 miliar. Segmen edge-AI diproyeksi akan melampaui industri semikonduktor secara keseluruhan, dengan penjualan unit yang diyakini melebihi 1,5 miliar pada tahun 2024, yang berarti tingkat pertumbuhan setidaknya 20% per tahun dibandingkan CAGR 9% untuk pasar secara keseluruhan.

Chip-chip ini semakin banyak ditemukan di ponsel pintar kelas atas, tablet, speaker pintar, wearable, dan berbagai macam perangkat perusahaan, termasuk robot, kamera, sensor, dan perangkat IoT umum.

Meskipun segmen konsumen masih lebih besar, diproyeksi akan tumbuh dengan CAGR 18% dari 2020 hingga 2024, sedangkan segmen perusahaan diyakini akan mempercepat pertumbuhan hingga 50% selama periode yang sama.

Pada tahun 2020, perangkat konsumen mewakili lebih dari 90% dari pasar chip edge-AI menurut volume dan nilai. Ponsel pintar kelas atas menanggung lebih dari 70% dari unit konsumen yang digunakan, dan lebih dari satu per dari 1,56 miliar pengiriman ponsel pintar pada tahun itu kemungkinan akan menyertakan chip edge-AI.

Secara historis, beban kerja AI ditangani di pusat data karena intensitas komputasinya. Namun, chip edge-AI lebih kecil, lebih murah, mengkonsumsi daya jauh lebih sedikit, dan menghasilkan panas minimal—mengaktifkan integrasinya ke dalam perangkat gangan dan robot. Dengan memproses data secara lokal, mereka mengurangi latensi, meningkatkan kegunaan, dan meningkatkan privasi serta keamanan dengan menyimpan informasi pribadi pada perangkat.

Sumber daya perangkat tidak mencukupi, pendekatan hibrida—menggabungkan pemrosesan pada perangkat dan cloud—dapat digunakan. Campuran optimal tergantung pada beban kerja AI spesifik.

Gambar 1: Lokasi di mana kecerdasan dapat disematkan (Gambar: Deloitte Insights)

Ekonomi Edge AI di Ponsel Pintar

Meskipun ponsel pintar mendominasi pasar, kategori lain—tablet, wearable, dan speaker pintar—juga menyisipkan chip edge-AI. Pada tahun 2020, tablet sebagian besar stagnan, sementara speaker pintar dan wearable bersama-sama diyakini akan mengirimkan hanya 125 juta unit, membatasi dampaknya pada penjualan keseluruhan. Namun, tingkat penetrasi untuk perangkat ini sudah tinggi.

Gambar 2: Pasar chip Edge AI (Gambar: Deloitte Insights)

Saat ini, hanya ponsel pintar termahal—yang berada di satu terendah atas spektrum harga—yang cenderung menyertakan chip edge-AI, namun biaya tambahannya minimal.

Dengan memeriksa gambar die silikon dari Samsung, Apple, dan Huawei, kita dapat memperkirakan porsi SoC yang dialokasikan untuk AI. Contohnya, Exynos 9820 dari Samsung mengalokasikan sekitar 5% dari area die untuk NPU. Dengan total biaya SoC sekitar US$70,50, bagian AI mewakili sekitar 5% dari biaya itu, atau sekitar US$3,50 per chip.

Gambar 3: Gambar die Exynos 9820 Samsung yang menunjukkan area AI sekitar 5% (Gambar: ChipRebel, Anotasi: AnandTech)

A12 Bionic Apple mengalokasikan sekitar 7% dari die untuk pembelajaran mesin, yang diterjemahkan ke biaya perkiraan US$5,10. Kirin 970 Huawei mengalokasikan 2,1% dari area untuk NPU, yang mengindikasikan biaya antara US$1,10 dan US$1,42, tergantung apakah area atau jumlah transistor digunakan sebagai metrik.

Gambar 4: A12 Bionic Apple mengalokasikan sekitar 7% dari die untuk pembelajaran mesin (Gambar: TechInsights / AnandTech)

Meski dengan rentang biaya yang luas, rata-rata US$3,50 per NPU adalah perkiraan yang wajar. Dikalikan dengan setengah miliar ponsel pintar—plus tablet, speaker, dan wearable—volume pasar cukup besar. Penting, menambahkan biaya manufaktur $1 biasanya diterjemahkan menjadi kenaikan harga $2 bagi konsumen, memungkinkan NPU edge-AI muncul di ponsel dengan harga rendah hingga US$250 tanpa dampak signifikan pada margin.

Sumber AI Chip: In-house atau Pihak Ketiga?

Pabrikan perangkat memilih strategi sourcing berdasarkan tingkat produk dan geografi. Perusahaan seperti Qualcomm dan MediaTek menyediakan SoC kepada banyak pabrikan, menangkang sekitar 60% dari pasar SoC ponsel pintar pada tahun 2018. Garis kelas atas mereka—Snapdragon 845, 855, dan Helio P60 MediaTek—biasanya menyertakan kemampuan edge-AI.

Apple, sebaliknya, merancang SoC-nya sendiri (A11–A13 Bionic) dan menyematkan AI di seluruhnya. Samsung dan Huawei menerapkan model hibrida, membeli beberapa SoC dari pihak ketiga sambil menurunkan chip Exynos dan Kirin mereka sendiri untuk perangkat kelas atas.

Lebih dari 50 Perusahaan Akselerator AI Bersaing untuk Edge AI di Perusahaan dan Industri

Meskipun chip kelas ponsel berfungsi baik untuk penggunaan konsumen, banyak aplikasi perusahaan dan industri memerlukan solusi yang lebih terfokus dan hemat daya. NPU yang hanya menempati bagian AI dari SoC menggunakan 95% lebih sedikit daya dan jauh lebih murah dari SoC lengkap.

Saat ini, lebih dari 50 perusahaan sedang mengembangkan aksenlerator edge-AI mandiri. Pada tahun 2019, pengembang dapat membeli chip tunggal dengan harga sekitar US$80 per biji. Dalam jumlah besar, pabrikan dapat memperolehnya dengan harga rendah hingga US$1 hingga beberapa dolar. Menggunakan NPU ponsel pintar sebagai perkiraan, kita akan asumsikan biaya rata-rata US$3,50.

Chip mandiri tidak hanya murah tetapi juga kecil dan hemat daya, menarik antara 1 dan 10 W. Sebaliknya, kluster data-center 16-GPU berbiaya US$400 ribu, berat 350 pon, dan mengkonsumsi 10 kW.

Edge AI memberdayakan perusahaan untuk memproses data secara lokal, mengurangi kebutuhan untuk mentransfer kumpulan data besar ke cloud, memotong biaya, menyederhanakan arsitektur, dan mengurangi risiko keamanan.

Keamanan dan Privasi Data

Pemrosesan lokal meminimalkan paparan terhadap ancaman siber dan pemeriksaan regulasi. Contohnya, kamera pintar dapat menganalisis rekaman pada perangkat, hanya mengirim segmen yang relevan ke cloud, sementara speaker pintar dapat menyempurnakan deteksi kata sambang untuk mengurangi tangkapan audio yang tidak perlu.

Konektivitas Rendah

Perangkat yang beroperasi di lingkungan jaringan lemah—seperti drone otonom—bermanfaat dari AI pada perangkat, mengaktifkan pengambilan keputusan real-time tanpa bergantung pada konektivitas.

Volume Data Massal

Penyebaran IoT dapat menghasilkan terabyte data setiap hari. Edge AI dapat memfilter dan memproses data ini terlebih dahulu, hanya mentransmisikan wawasan yang dapat ditindaklanjuti, sehingga mengurangi biaya penyimpanan dan bandwidth.

Keterbatasan Daya

Aksenlerator hemat daya memungkinkan perangkat baterai kecil, seperti pengasap yang menganalisis pola penggunaan secara lokal dan mengirim metrik ringkas ke ponsel pintar. Upaya seperti TensorFlow Lite untuk mikrokontroler Google mendorong pembelajaran mendalam ke dalam mikrokontroler, mengaktifkan "tiny machine learning."

Persyaratan Latensi Rendah

Inferensi pada perangkat menghilangkan latensi perjalanan pulang-pergi ke pusat data, yang dapat menjadi kritis untuk kendaraan otonom, robotika, dan aplikasi kritis keamanan lainnya.

Simpulan: Edge AI akan Penting untuk Aplikasi yang Memerlukan Banyak Data

Konsumen akan mendapatkan manfaat dari fitur seperti pembukaan perangkat aman, asisten suara offline, dan fotografi berkualitas tinggi tanpa konektivitas yang konstan. Bagi perusahaan, edge AI dapat membuka model bisnis baru, meningkatkan efisiensi operasional, dan mengubah industri seperti manufaktur, logistik, pertanian, dan energi dengan mengaktifkan analitik pada perangkat secara real-time.

Duncan Stewart dan Jeff Loucks berada di Center for Technology, Media and Telecommunications Deloitte. Artikel ini didasarkan pada artikel yang awalnya diterbitkan oleh Deloitte untuk laporan TMT Predictions 2020 mereka.