Qualcomm mempersiapkan penawaran AI terdepan

Hampir 18 bulan sejak pengumuman awal akselerator Cloud AI 100 AI, Qualcomm telah merilis beberapa detail lebih lanjut dari faktor bentuk solusi chip ini akan tersedia, dan beberapa angka kinerja untuk kartu tersebut. Raksasa silikon seluler mengungkapkan bahwa silikon akhir Cloud AI 100 sedang dalam produksi dan akan dikirimkan pada paruh pertama tahun 2021.

Cloud AI 100 diluncurkan hampir 18 bulan yang lalu pada April 2019. Sementara Qualcomm mendominasi pasar prosesor smartphone dengan lini Snapdragon-nya, penawaran Qualcomm untuk server sebelumnya tidak diluncurkan — lini Centriq berbasis Arm ditarik pada 2018 hanya setahun setelahnya. meluncurkan. Oleh karena itu, pembuat silikon seluler melihat Cloud AI 100 sebagai cara untuk memasuki pasar server edge.

Qualcomm Cloud AI 100 ditargetkan untuk aplikasi yang hampir canggih termasuk pusat data perusahaan dan infrastruktur 5G (Gambar:Qualcomm)

Faktor bentuk

Sementara banyak detail dari chip Cloud AI 100 masih dirahasiakan, sekarang kita tahu bahwa chip tersebut akan tersedia pada tiga jenis kartu pada awalnya. Ini adalah faktor bentuk ganda M.2 edge (DM.2e) yang menawarkan lebih dari 50 TOPS pada 15 Watt, kartu M.2 (DM.2) ganda yang dikonfigurasi untuk 200 TOPS pada 25 Watt, dan kartu PCIe yang datang di sekitar 400 TOPS pada 75 Watt. (Qualcomm mencatat bahwa ini adalah angka TOPS "mentah", maksimum teoritis, dan tidak mewakili komputasi yang mungkin dicapai dalam aplikasi nyata).

Qualcomm tampaknya telah mentransfer keahliannya dalam desain prosesor berdaya rendah dari ruang seluler ke pasar akselerator AI terdepan. Meskipun desain Cloud AI 100 tidak didasarkan pada blok akselerasi AI yang ditemukan di prosesor Snapdragon, kinerja per Watt tampak mengesankan. Slide yang diperlihatkan oleh Qualcomm selama briefing medianya berisi grafik yang memiliki versi kartu PCIe dari Cloud AI 100 yang mengungguli banyak solusi paling populer di industri dengan hanya menggunakan sebagian kecil daya. Ini adalah angka kinerja terukur dibandingkan dengan angka yang dicatat secara publik dari pemasok lain, menurut Qualcomm.

klik untuk gambar lebih besar

Resnet-50 inferensi AI per detik untuk perangkat keras inferensi AI populer versus konsumsi daya, menurut angka Qualcomm. Kartu Qualcomm tampaknya berkinerja sangat baik dalam hal efisiensi daya. Ukuran batch adalah 8 untuk semua titik pada grafik kecuali Nvidia A100. (Gambar:Qualcomm)

“Di Qualcomm, kami memiliki warisan panjang dalam R&D AI,” kata John Kehrli, direktur senior manajemen produk Qualcomm. “Kami sebenarnya dalam solusi generasi kelima kami dari sisi seluler, kami memiliki lebih dari 11 tahun R&D yang sangat aktif. Jadi kami memanfaatkan pengetahuan itu, keahlian industri itu, tetapi ini adalah inti AI yang berbeda, tidak sama dengan seluler, tetapi kami memanfaatkan ruang itu.”

Cloud AI 100 adalah akselerator inferensi yang memiliki hingga 16 inti prosesor AI yang mendukung INT8, INT16, FP16, dan FP32. Ini dibangun di atas teknologi proses FinFET 7nm. Ada hingga 144 MB SRAM on-die – 128 MB digunakan bersama di seluruh inti dengan masing-masing inti memiliki tambahan 1 MB. Kartu ini mendukung DRAM hingga 32 GB pada level kartu dengan bandwidth memori 4x 64 LPDDR4x yang berjalan hingga 2,1 GHz.

Aplikasi tepi

Cloud AI 100 dapat digunakan untuk visi komputer, ucapan, mengemudi otonom, terjemahan bahasa, dan sistem rekomendasi. Hari ini, Qualcomm memposisikan silikon Cloud AI 100 untuk inferensi AI di empat pasar utama. Mereka adalah pusat data di luar cloud, ADAS, edge box 5G, dan infrastruktur 5G.

Inferensi AI di pusat data di tepi cloud mendukung segalanya, mulai dari mesin rekomendasi yang digunakan untuk menayangkan iklan dan mempersonalisasi umpan berita hingga komputasi AI yang membutuhkan komputasi yang lebih spesifik untuk aplikasi.

Apa yang disebut Qualcomm "kotak tepi 5G" lebih seperti perangkat mandiri tertanam di tempat. Ini mungkin digunakan sebagai bagian dari infrastruktur kota pintar di tiang telegraf, atau di perusahaan, dan digunakan untuk mendorong aplikasi kota pintar, keselamatan publik, dan manajemen lalu lintas.

Turunan dari Cloud AI 100 digunakan untuk mendukung pemrosesan AI untuk mengemudi secara otonom di platform Qualcomm Snapdragon Ride (turunan ini memiliki arsitektur dan rantai alat perangkat lunak yang sama, kata Kehrli).

Aplikasi Cloud AI 100 dalam infrastruktur 5G adalah untuk mempercepat algoritme kompleks seperti beam-forming, yang sekarang menggunakan AI untuk mengelola BTS 5G secara efisien.

Desain Referensi

Qualcomm juga mengumumkan kit pengembangan Cloud AI 100 yang baru. Ini termasuk desain referensi untuk edge box 5G yang didukung oleh Cloud AI 100 bersama dengan aplikasi Snapdragon 865 dan prosesor video sebagai prosesor host (yang menyediakan saluran video lengkap yang mendukung hingga 24 aliran dekode video full HD, dengan ruang kepala untuk pelanggan pengembangan aplikasi). Desain referensi juga menggunakan modul 5G pra-sertifikasi berdasarkan modem 5G Snapdragon X55.

“Ini benar-benar peluang lapangan hijau bagi kami yang sangat kami senangi,” kata Kehrli. “Tujuannya [untuk kit pengembangan] adalah agar pelanggan yang tertarik dengan ruang ini dapat dengan cepat dan mudah menjalankan aplikasi demo langsung – bahkan dilengkapi dengan ResNet-50 yang telah dikompilasi sebelumnya sebagai demo.”

Kotak tepi 5G seperti ini mungkin melakukan analitik di lokasi untuk streaming video keamanan di pusat perbelanjaan atau aplikasi keamanan di fasilitas manufaktur, kata Kehrli.

Jadwal

Pelanggan pertama yang mengadopsi Cloud AI 100 kemungkinan besar akan berada di ujung tombak, di kota pintar, ritel, dan manufaktur, kata Kehrli.

“Saya berharap penerapan komersial pertama kami lebih di sisi tepi daripada di sisi pusat data, di mana ada siklus yang jauh lebih lama untuk membuatnya menjadi produksi,” katanya. “Itu tidak berarti kami tidak memiliki daya tarik dan peluang yang signifikan di sana, tetapi saya berharap lebih bahwa penerapan 5G edge akan jauh lebih cepat dan hal-hal seperti modul 5G pra-sertifikasi kami membuatnya lebih mudah. Banyak dari pelanggan yang bekerja sama dengan kami bukanlah pelanggan seluler tradisional Anda. Jadi, dengan memberikan solusi yang sudah disertifikasi sebelumnya, mereka dapat dengan cepat masuk ke pasar. Jadi [aplikasi] di ruang itu akan muncul lebih cepat.”

Silikon akhir untuk Qualcomm Cloud AI 100 telah diproduksi, sekarang diambil sampelnya ke beberapa pelanggan dan akan dikirimkan selama paruh pertama tahun 2021. Kit pengembangan edge akan mengambil sampel bulan depan tetapi hanya untuk pelanggan tertentu.

>> Artikel ini awalnya diterbitkan pada situs saudara kami, EE Times.