Apa yang mendorong AI ke ujung tombak

Pada tahun 2020, kami memperkirakan lebih dari 750 juta chip AI edge — chip atau bagian chip yang melakukan atau mempercepat tugas pembelajaran mesin di perangkat, bukan di pusat data jarak jauh — akan dijual, yang mewakili pendapatan US$2,6 miliar. Selain itu, pasar chip AI edge akan tumbuh jauh lebih cepat daripada pasar chip secara keseluruhan. Pada tahun 2024, kami memperkirakan penjualan chip AI edge akan melebihi 1,5 miliar, kemungkinan besar. Ini mewakili pertumbuhan penjualan unit tahunan setidaknya 20%, lebih dari dua kali lipat perkiraan jangka panjang CAGR 9% untuk industri semikonduktor secara keseluruhan.

Chip AI edge ini kemungkinan akan masuk ke perangkat konsumen yang jumlahnya semakin banyak, seperti smartphone kelas atas, tablet, speaker pintar, dan perangkat yang dapat dikenakan. Mereka juga akan digunakan di beberapa pasar perusahaan:robot, kamera, sensor, dan perangkat IoT (internet of things) lainnya secara umum.

Pasar chip AI tepi konsumen jauh lebih besar daripada pasar perusahaan, tetapi kemungkinan akan tumbuh lebih lambat, dengan CAGR 18% diharapkan antara tahun 2020 dan 2024. Pasar chip AI tepi perusahaan tumbuh jauh lebih cepat, dengan CAGR yang diprediksi 50% selama jangka waktu yang sama.

Namun demikian, saat ini, pada tahun 2020, pasar perangkat konsumen kemungkinan akan mewakili lebih dari 90 persen pasar chip AI edge, baik dari segi jumlah yang terjual maupun nilai dolarnya. Sebagian besar chip AI edge ini akan masuk ke smartphone kelas atas, yang mencakup lebih dari 70 persen dari semua chip AI edge konsumen yang saat ini digunakan. Oleh karena itu pada tahun 2020 dan untuk beberapa tahun ke depan, pertumbuhan chip AI akan didorong terutama oleh smartphone. Kami yakin lebih dari sepertiga dari 1,56 miliar unit pasar ponsel cerdas mungkin memiliki chip AI canggih pada tahun 2020.

Karena persyaratan prosesor yang sangat intensif, komputasi AI hampir semuanya dilakukan dari jarak jauh di pusat data, pada peralatan inti perusahaan, atau pada prosesor tepi telekomunikasi — bukan secara lokal pada perangkat. Chip AI Edge mengubah semua itu. Mereka secara fisik lebih kecil, relatif murah, menggunakan daya yang jauh lebih sedikit, dan menghasilkan lebih sedikit panas, sehingga memungkinkan untuk mengintegrasikannya ke dalam perangkat genggam serta perangkat non-konsumen seperti robot. Dengan mengaktifkan perangkat ini untuk melakukan komputasi AI intensif prosesor secara lokal, chip AI edge mengurangi atau menghilangkan kebutuhan untuk mengirim data dalam jumlah besar ke lokasi yang jauh — sehingga memberikan manfaat dalam kegunaan, kecepatan, serta keamanan dan privasi data.

Menjaga pemrosesan pada perangkat lebih baik dalam hal privasi dan keamanan; informasi pribadi yang tidak pernah meninggalkan telepon tidak dapat disadap atau disalahgunakan. Dan saat chip AI edge ada di ponsel, chip ini dapat melakukan semua hal ini bahkan saat tidak terhubung ke jaringan.

Tentu saja, tidak semua komputasi AI harus dilakukan secara lokal. Untuk beberapa aplikasi, mengirim data untuk diproses oleh array AI jarak jauh mungkin memadai atau bahkan lebih disukai — misalnya, ketika ada terlalu banyak data untuk ditangani oleh chip AI tepi perangkat. Faktanya, sebagian besar waktu, AI akan dilakukan dengan cara hybrid:sebagian di perangkat, dan sebagian di cloud. Campuran yang disukai dalam situasi tertentu akan bervariasi tergantung pada jenis pemrosesan AI apa yang perlu dilakukan.

Gambar 1:Lokasi di mana kecerdasan dapat disematkan (Gambar:Deloitte Insights)

Ekonomi edge AI di smartphone

Smartphone bukan satu-satunya perangkat yang menggunakan chip AI edge; kategori perangkat lain — tablet, perangkat yang dapat dikenakan, speaker pintar — juga memuatnya. Dalam jangka pendek, perangkat non-smartphone ini kemungkinan besar akan memiliki dampak yang jauh lebih kecil pada penjualan chip AI edge daripada smartphone, baik karena pasar tidak berkembang (seperti untuk tablet) atau karena terlalu kecil untuk membuat perbedaan material ( misalnya, gabungan speaker pintar dan perangkat yang dapat dikenakan diharapkan hanya terjual 125 juta unit pada tahun 2020). Namun, banyak perangkat yang dapat dikenakan dan speaker pintar bergantung pada chip AI edge, sehingga penetrasi sudah tinggi.

Gambar 2:Pasar chip Edge AI (Gambar:Deloitte Insights)

Saat ini, hanya smartphone paling mahal — yang berada di sepertiga teratas dari distribusi harga — yang cenderung menggunakan chip AI edge. Menempatkan chip AI di smartphone tidak harus mahal harganya bagi konsumen.

Dimungkinkan untuk sampai pada perkiraan yang cukup baik dari chip AI tepi smartphone. Hingga saat ini, gambar prosesor ponsel di Samsung, Apple, dan Huawei menunjukkan silikon telanjang dengan semua fiturnya terlihat, memungkinkan identifikasi bagian mana dari chip yang digunakan untuk fungsi mana. Tembakan mati chip untuk Samsung Exynos 9820 menunjukkan bahwa sekitar 5% dari total area chip didedikasikan untuk prosesor AI. Biaya Samsung untuk seluruh prosesor aplikasi SoC diperkirakan $70,50, yang merupakan komponen ponsel paling mahal kedua (setelah layar), mewakili sekitar 17% dari total tagihan bahan perangkat. Dengan asumsi bahwa biaya bagian AI sama dengan komponen lainnya berdasarkan area mati, unit pemrosesan saraf AI tepi (NPU) Exynos mewakili sekitar 5% dari total biaya chip. Ini berarti masing-masing sekitar $3,50.

Gambar 3:Gambar chip untuk Exynos 9820 Samsung menunjukkan bahwa sekitar 5% dari total area chip didedikasikan untuk prosesor AI. (Gambar:ChipRebel, Anotasi:AnandTech)

Demikian pula, chip A12 Bionic Apple mendedikasikan sekitar 7% dari area mati untuk pembelajaran mesin. Dengan perkiraan $72 untuk keseluruhan prosesor, ini menunjukkan biaya $5,10 untuk bagian AI edge. Chip Huawei Kirin 970, diperkirakan menelan biaya pabrikan $52,50, mendedikasikan 2,1% dari die ke NPU, menunjukkan biaya $1,10. (Area mati bukanlah satu-satunya cara untuk mengukur berapa persen dari total biaya chip yang digunakan untuk AI. Namun, menurut Huawei, NPU Kirin 970 memiliki 150 juta transistor, mewakili 2,7% dari total chip yang berjumlah 5,5 miliar transistor. Ini akan menyarankan biaya NPU yang sedikit lebih tinggi yaitu $1,42).

Gambar 4:Chip A12 Bionic Apple mendedikasikan sekitar 7% area die untuk pembelajaran mesin. (Gambar:TechInsights / AnandTech)

Meskipun kisaran biaya ini luas, mungkin masuk akal untuk mengasumsikan bahwa NPU berharga rata-rata $3,50 per chip. Dikalikan dengan setengah miliar smartphone (belum lagi tablet, speaker, dan perangkat yang dapat dikenakan), yang menghasilkan pasar yang besar, meskipun harga per chipnya rendah. Lebih penting lagi, dengan biaya rata-rata $ 3,50 untuk pabrikan, dan kemungkinan minimum $ 1, menambahkan NPU AI tepi khusus ke chip pemrosesan ponsel cerdas mulai tampak seperti mudah. Dengan asumsi markup normal, menambahkan $1 ke biaya produksi berarti hanya $2 lebih untuk pelanggan akhir. Ini berarti NPU dan manfaat yang menyertainya — kamera yang lebih baik, bantuan suara offline, dan sebagainya — dapat dimasukkan ke dalam smartphone seharga $250 bahkan dengan kenaikan harga kurang dari 1 persen.

Sumber chip AI:internal atau pihak ketiga?

Perusahaan yang memproduksi ponsel cerdas dan jenis perangkat lain mengambil pendekatan berbeda untuk mendapatkan chip AI canggih, dengan keputusan yang didorong oleh faktor-faktor termasuk model ponsel dan (terkadang) geografi. Beberapa membeli chip prosesor/modem aplikasi dari perusahaan pihak ketiga yang mengkhususkan diri dalam membuat dan menjualnya ke pembuat telepon, tetapi tidak membuat telepon mereka sendiri. Qualcomm dan MediaTek adalah dua contoh yang menonjol; jika digabungkan, kedua perusahaan ini menguasai sekitar 60 persen pasar chip SoC smartphone pada tahun 2018.

Baik Qualcomm dan MediaTek menawarkan berbagai SoC dengan harga yang bervariasi; sementara tidak semuanya menyertakan chip AI edge, penawaran kelas atas (termasuk Qualcomm Snapdragon 845 dan 855 dan MediaTek Helio P60) biasanya ada. Di sisi lain, Apple tidak menggunakan chip AP eksternal sama sekali:Apple mendesain dan menggunakan prosesor SoC-nya sendiri seperti chip Bionic A11, A12, dan A13, yang semuanya memiliki AI edge.

Pembuat perangkat lain, seperti Samsung dan Huawei, menggunakan strategi hibrida, membeli beberapa SoC dari pemasok silikon pasar pedagang dan menggunakan chip mereka sendiri (seperti Exynos 9820 Samsung dan Kirin 970/980 dari Huawei) untuk sisanya.

Lebih dari 50 perusahaan akselerator AI berlomba-lomba untuk AI terdepan di perusahaan dan industri

Jika prosesor AI edge yang digunakan di smartphone dan perangkat lain begitu hebat, mengapa tidak menggunakannya untuk aplikasi perusahaan juga? Ini sebenarnya sudah terjadi untuk beberapa kasus penggunaan, seperti untuk beberapa drone otonom. Dilengkapi dengan prosesor aplikasi SoC smartphone, drone mampu melakukan navigasi dan menghindari rintangan secara real time dan sepenuhnya di perangkat, tanpa koneksi jaringan sama sekali.

Namun, chip yang dioptimalkan untuk smartphone atau tablet bukanlah pilihan yang tepat untuk banyak aplikasi perusahaan atau industri. Seperti yang telah dibahas sebelumnya, bagian tepi AI dari SoC smartphone hanya sekitar 5% dari total area, sekitar $3,50 dari total biaya, dan akan menggunakan daya sekitar 95 persen lebih sedikit daripada keseluruhan SoC. Bagaimana jika seseorang membuat chip yang hanya bagian edge AI (bersama dengan beberapa fungsi lain yang diperlukan seperti memori) yang lebih hemat, menggunakan lebih sedikit listrik, dan lebih kecil?

Yah, mereka punya. Secara keseluruhan, sebanyak 50 perusahaan berbeda dikatakan sedang mengerjakan berbagai jenis akselerator AI. Chip AI tepi mandiri yang tersedia pada tahun 2019 ditargetkan untuk pengembang, yang akan membelinya satu per satu dengan harga masing-masing sekitar $80. Dalam volume ribuan atau jutaan, chip ini kemungkinan akan membebani produsen perangkat jauh lebih sedikit untuk membeli:beberapa hanya seharga $ 1 (atau mungkin bahkan kurang), beberapa dalam puluhan dolar. Kami, untuk saat ini, mengasumsikan biaya rata-rata sekitar $3,50, menggunakan chip AI tepi ponsel cerdas sebagai proxy.

Selain relatif murah, prosesor AI edge yang berdiri sendiri memiliki keunggulan karena ukurannya yang kecil. Mereka juga daya yang relatif rendah, menggambar antara 1 sampai 10 watt. Sebagai perbandingan, kluster pusat data (meskipun sangat kuat) dengan 16 GPU dan dua CPU berharga $400.000, beratnya 350 pon, dan mengonsumsi daya 10.000 watt.

Dengan chip seperti ini dalam pengerjaan, edge AI dapat membuka banyak kemungkinan baru untuk perusahaan, terutama yang berkaitan dengan aplikasi IoT. Dengan menggunakan chip AI edge, perusahaan dapat sangat meningkatkan kemampuan mereka untuk menganalisis — tidak hanya mengumpulkan — data dari perangkat yang terhubung dan mengubah analisis ini menjadi tindakan, sambil menghindari biaya, kerumitan, dan tantangan keamanan dalam mengirimkan data dalam jumlah besar ke cloud. Masalah yang dapat ditangani oleh chip AI meliputi:

Keamanan dan privasi data. Mengumpulkan, menyimpan, dan memindahkan data ke cloud tak terhindarkan membuat organisasi menghadapi ancaman keamanan siber dan privasi, bahkan ketika perusahaan waspada terhadap perlindungan data. Risiko yang sangat penting ini menjadi semakin kritis untuk diatasi seiring berjalannya waktu. Peraturan tentang informasi pengenal pribadi muncul di seluruh yurisdiksi, dan konsumen menjadi lebih sadar akan data yang dikumpulkan perusahaan, dengan 80 persen dari mereka mengatakan bahwa mereka tidak merasa bahwa perusahaan melakukan semua yang mereka bisa untuk melindungi privasi konsumen. Beberapa perangkat, seperti speaker pintar, mulai digunakan di lingkungan seperti rumah sakit, di mana privasi pasien diatur dengan lebih ketat.

Dengan mengizinkan sejumlah besar data untuk diproses secara lokal, chip AI edge dapat mengurangi risiko data pribadi atau perusahaan dicegat atau disalahgunakan. Kamera keamanan dengan pemrosesan pembelajaran mesin, misalnya, dapat mengurangi risiko privasi dengan menganalisis video untuk menentukan segmen video mana yang relevan, dan hanya mengirimkannya ke cloud. Chip pembelajaran mesin juga dapat mengenali rentang perintah suara yang lebih luas, sehingga lebih sedikit audio yang perlu dianalisis di cloud. Pengenalan ucapan yang lebih akurat dapat memberikan bonus tambahan untuk membantu speaker pintar mendeteksi "kata bangun" secara lebih akurat, mencegahnya mendengarkan percakapan yang tidak terkait.

Konektivitas rendah. Perangkat harus terhubung agar data dapat diproses di cloud. Namun, dalam beberapa kasus, menghubungkan perangkat tidak praktis. Ambil drone sebagai contoh. Mempertahankan konektivitas dengan drone bisa jadi sulit tergantung di mana mereka beroperasi, dan baik koneksi itu sendiri maupun mengunggah data ke cloud dapat mengurangi masa pakai baterai. Di New South Wales, Australia, drone dengan pembelajaran mesin tertanam di pantai patroli untuk menjaga perenang tetap aman. Mereka dapat mengidentifikasi perenang yang terkena gelombang pasang, atau memperingatkan perenang akan hiu dan buaya sebelum serangan, semuanya tanpa koneksi internet.

(Terlalu) data besar. Perangkat IoT dapat menghasilkan data dalam jumlah besar. Misalnya, jet Airbus A-350 memiliki lebih dari 6.000 sensor dan menghasilkan 2,5 terabyte data setiap hari terbang. Secara global, kamera keamanan menghasilkan sekitar 2.500 petabyte data per hari. Mengirim semua data ini ke cloud untuk penyimpanan dan analisis memakan biaya dan kompleks. Menempatkan prosesor pembelajaran mesin di titik akhir, baik sensor atau kamera, dapat mengatasi masalah ini. Kamera, misalnya, dapat dilengkapi dengan unit pemroses penglihatan (VPU), prosesor SoC berdaya rendah yang dikhususkan untuk menganalisis atau pra-pemrosesan gambar digital. Dengan chip AI edge yang disematkan, perangkat dapat menganalisis data secara real time, hanya mengirimkan apa yang relevan untuk analisis lebih lanjut di cloud, dan "melupakan" sisanya, sehingga mengurangi biaya penyimpanan dan bandwidth.

Keterbatasan daya. Chip pembelajaran mesin berdaya rendah bahkan dapat memungkinkan perangkat dengan baterai kecil untuk melakukan komputasi AI tanpa menguras daya yang tidak semestinya. Misalnya, chip Arm sedang tertanam di inhaler pernapasan untuk menganalisis data, seperti kapasitas paru-paru inhalasi dan aliran obat ke dalam paru-paru. Analisis AI dilakukan pada inhaler, dan hasilnya kemudian dikirim ke aplikasi smartphone, membantu profesional perawatan kesehatan untuk mengembangkan perawatan pribadi untuk pasien asma. Selain NPU AI edge berdaya rendah yang saat ini tersedia, perusahaan sedang bekerja untuk mengembangkan "pembelajaran mesin kecil":pembelajaran mendalam pada perangkat sekecil unit mikrokontroler. Google, misalnya, sedang mengembangkan versi TensorFlow Lite yang memungkinkan mikrokontroler menganalisis data, memadatkan apa yang perlu dikirim off-chip menjadi beberapa byte.

Persyaratan latensi rendah. Baik melalui jaringan kabel atau nirkabel, melakukan komputasi AI di pusat data jarak jauh berarti latensi bolak-balik setidaknya 1-2 milidetik dalam kasus terbaik, dan puluhan atau bahkan ratusan milidetik dalam kasus terburuk. Menjalankan AI pada perangkat menggunakan chip AI edge akan menguranginya menjadi nanodetik — penting untuk penggunaan di mana perangkat harus mengumpulkan, memproses, dan bertindak berdasarkan data secara virtual secara instan. Kendaraan otonom, misalnya, harus mengumpulkan dan memproses data dalam jumlah besar dari sistem penglihatan komputer untuk mengidentifikasi objek, serta dari sensor yang mengontrol fungsi kendaraan. Mereka kemudian harus segera mengubah data ini menjadi keputusan — kapan harus berbelok, mengerem, atau berakselerasi — agar dapat beroperasi dengan aman. Untuk melakukan ini, kendaraan otonom harus memproses banyak data yang mereka kumpulkan di dalam kendaraan itu sendiri. Latensi rendah juga penting bagi robot, dan akan menjadi lebih penting lagi saat robot muncul dari pengaturan pabrik untuk bekerja bersama manusia.

Intinya:edge AI akan sangat penting untuk aplikasi yang membutuhkan banyak data

Penyebaran chip AI terdepan kemungkinan akan mendorong perubahan signifikan bagi konsumen dan perusahaan. Bagi konsumen, chip AI edge memungkinkan banyak fitur — mulai dari membuka kunci ponsel, bercakap-cakap dengan asisten suaranya, hingga mengambil foto yang menakjubkan dalam kondisi yang sangat sulit, dan tanpa memerlukan koneksi internet.

Namun dalam jangka panjang, dampak yang lebih besar dari chip AI edge mungkin berasal dari penggunaannya di perusahaan, di mana mereka dapat memungkinkan perusahaan untuk membawa aplikasi IoT mereka ke tingkat yang sama sekali baru. Mesin pintar yang ditenagai oleh chip AI dapat membantu memperluas pasar yang ada, mengancam pemain lama, dan mengubah cara pembagian keuntungan dalam industri seperti manufaktur, konstruksi, logistik, pertanian, dan energi. Kemampuan untuk mengumpulkan, menafsirkan, dan segera bertindak atas sejumlah besar data sangat penting untuk banyak aplikasi data-berat yang dilihat oleh futuris semakin meluas:pemantauan video, realitas virtual, drone dan kendaraan otonom, dan banyak lagi. Masa depan itu, sebagian besar, bergantung pada apa yang dimungkinkan oleh chip AI edge:menghadirkan kecerdasan ke perangkat.

Duncan Stewart dan Jeff Loucks bekerja di Pusat Teknologi, Media, dan Telekomunikasi Deloitte. Artikel ini didasarkan pada artikel yang aslinya diterbitkan oleh Deloitte untuk laporan TMT Predictions 2020.