Fokus perangkat keras AI saat ini salah arah, kata pelopor AI

“Sangat sulit untuk berhasil dengan perangkat keras yang eksotis,” Kepala Ilmuwan AI Facebook Yann Le Cun mengatakan kepada hadirin untuk pidato utamanya di NeurIPS. Berbicara pada pertemuan global pakar AI di Vancouver, Kanada, pada bulan Desember, Le Cun mensurvei sejarah chip komputasi khusus untuk memproses beban kerja jaringan saraf, menawarkan sekilas tentang apa yang sedang dikerjakan Facebook, dan membuat beberapa prediksi untuk masa depan deep- perangkat keras pembelajaran.

Sejarah kuno

Le Cun adalah seorang visioner terkenal di bidang AI, yang telah menjadi yang terdepan dalam penelitian jaringan saraf pada 1980-an dan 1990-an. Sebagai peneliti Bell Labs di akhir 1980-an, ia bekerja dengan jenis prosesor jaringan saraf terdedikasi paling awal, yang terdiri dari array resistor dan digunakan untuk melakukan perkalian matriks. Ketika jaringan saraf tidak disukai pada akhir 1990-an dan awal 2000-an, Le Cun adalah salah satu dari segelintir ilmuwan yang terus bekerja di lapangan. Dalam keynote-nya, dia membagikan beberapa hal yang dia pelajari tentang perangkat keras untuk pembelajaran mendalam selama waktu itu.

Kepala Ilmuwan AI Facebook Yann Le Cun

Pertama, alat sangat penting. Apa yang membunuh jaring saraf (sementara) di tahun 90-an adalah bahwa hanya beberapa orang — termasuk Le Cun — yang memiliki alat untuk melatihnya. Le Cun dan rekan-rekannya menghabiskan banyak waktu untuk membangun apa yang sekarang disebut kerangka pembelajaran mendalam:perangkat lunak fleksibel yang menafsirkan bahasa front-end, memungkinkan para peneliti untuk melatih dan bereksperimen dengan jaringan saraf. Pekerjaan para peneliti memajukan konsep bahwa sistem pembelajaran mendalam dapat dirakit dari modul yang dapat dibedakan dan kemudian secara otomatis dibedakan. Meskipun baru pada saat itu, ini adalah praktik umum sekarang.

Alat yang tepat memberi tim Le Cun "kekuatan super" dan juga merupakan faktor penting dalam menghasilkan hasil yang dapat direproduksi, katanya. “Hasil yang baik saja tidak cukup… walaupun mendapatkan hasil yang baik, orang masih akan skeptis,” katanya. “Membuat hasil tersebut dapat direproduksi hampir sama pentingnya dengan benar-benar menghasilkan hasil.”

Selain alat yang tepat, kinerja perangkat keras sangat penting bagi komunitas riset, karena keterbatasan perangkat keras dapat memengaruhi seluruh arah penelitian, kata Le Cun.

“[Apa] yang dibangun komunitas perangkat keras untuk penelitian atau pelatihan sebenarnya memengaruhi gagasan yang dipikirkan orang,” katanya. “Seluruh ide dapat ditinggalkan hanya karena perangkat kerasnya tidak cukup kuat, meskipun itu adalah ide yang bagus.”

Jawabannya mungkin tidak terletak pada bentuk komputasi baru dan baru, katanya, seraya mencatat bahwa banyak teknologi fabrikasi eksotis gagal lepas landas ketika tidak cocok dengan lingkungan komputasi yang ada.

Salah satu frustrasi Le Cun dengan solusi perangkat keras saat ini untuk akselerasi AI adalah bahwa sebagian besar dibuat untuk perkalian matriks, bukan konvolusi, yang merupakan operasi matematika utama yang digunakan di sebagian besar jaringan saraf pemrosesan gambar dan pengenalan ucapan saat ini. “[Pendekatan yang berlaku] akan menjadi semakin salah, dalam arti bahwa kita akan memiliki persyaratan yang lebih besar dan lebih besar untuk kekuasaan,” katanya. “Jika kami membuat perangkat keras generik di mana 95% siklus dihabiskan untuk melakukan konvolusi, kami tidak melakukan pekerjaan dengan baik.”

Aplikasi pembunuh

Masa depan, seperti yang dijelaskan Le Cun, akan melihat jaringan saraf convolutional (CNN) digunakan dalam segala hal mulai dari mainan hingga penyedot debu hingga peralatan medis. Namun aplikasi pembunuh — satu-satunya aplikasi yang akan membuktikan nilai AI bagi perangkat konsumen — adalah headset augmented-reality.

Facebook saat ini sedang mengerjakan perangkat keras untuk kacamata AR. Ini adalah tantangan perangkat keras yang sangat besar karena jumlah pemrosesan yang diperlukan pada latensi rendah, hanya ditenagai oleh baterai. “Saat Anda bergerak, objek yang dilapis di dunia harus bergerak dengan dunia, bukan dengan Anda, dan itu membutuhkan sedikit komputasi,” kata Le Cun.

Facebook membayangkan kacamata AR yang dioperasikan dengan suara dan berinteraksi melalui gerakan melalui pelacakan tangan waktu nyata. Meskipun fitur-fitur tersebut dimungkinkan saat ini, fitur tersebut melampaui apa yang dapat kami lakukan dalam hal konsumsi daya, kinerja, dan faktor bentuk. Le Cun mencatat beberapa "trik" yang dapat membantu.

Misalnya, saat menjalankan jaringan saraf yang sama pada setiap bingkai video — mungkin untuk mendeteksi objek — tidak masalah jika hasil untuk satu bingkai salah, karena kita dapat melihat bingkai sebelum dan sesudahnya serta memeriksa konsistensi .

“Jadi Anda bisa membayangkan menggunakan perangkat keras berdaya sangat rendah yang tidak sempurna; dengan kata lain, Anda dapat [menoleransi] sedikit membalik sesekali, ”kata Le Cun. “Ini mudah dilakukan dengan menurunkan tegangan catu daya.”

Pengembangan jaringan saraf

Evolusi yang cepat dari jaringan saraf merupakan tantangan utama untuk desain perangkat keras. Misalnya, jaringan dinamis — jaringan dengan memori yang dapat dilatih untuk mempelajari pola sekuensial atau variasi waktu — semakin populer, terutama untuk pemrosesan bahasa alami (NLP). Namun, mereka berperilaku berbeda dari banyak asumsi yang dibuat oleh perangkat keras saat ini. Grafik komputasi tidak dapat dioptimalkan pada waktu kompilasi; yang harus dilakukan pada saat runtime. Mengimplementasikan batching juga agak sulit, teknik populer di mana lebih dari satu sampel diproses sekaligus untuk meningkatkan kinerja.

“Semua perangkat keras paling umum yang kami miliki mengasumsikan bahwa Anda dapat mengelompokkan, karena jika Anda memiliki kumpulan dengan lebih dari satu sampel, maka Anda dapat mengubah setiap operasi menjadi perkalian matriks, termasuk konvolusi dan jaring yang terhubung penuh,” kata Le Cun. “[Ini] adalah tantangan bagi komunitas perangkat keras untuk membuat arsitektur yang tidak kehilangan kinerja dengan menggunakan ukuran batch =1. Itu berlaku untuk pelatihan, tentu saja; ukuran batch yang optimal untuk pelatihan adalah 1. Kami menggunakan lebih banyak karena perangkat keras kami memaksa kami untuk melakukannya.”

Pembelajaran mandiri

Tantangan lain untuk perangkat keras adalah bahwa paradigma pembelajaran yang kita gunakan saat ini akan berubah, dan ini akan segera terjadi, menurut Le Cun.

“Ada banyak pekerjaan [yang dilakukan] untuk mencoba membuat mesin belajar lebih seperti manusia dan hewan, dan manusia dan hewan tidak belajar dengan pembelajaran yang diawasi atau bahkan dengan pembelajaran penguatan,” katanya. “Mereka belajar dengan sesuatu yang saya sebut pembelajaran dengan pengawasan mandiri, yang sebagian besar melalui observasi.”

Le Cun menjelaskan pendekatan umum untuk pembelajaran yang diawasi sendiri di mana sepotong sampel ditutupi dan sistem dilatih untuk memprediksi konten potongan topeng berdasarkan bagian sampel yang tersedia. Ini biasanya digunakan dengan gambar, di mana sebagian gambar dihapus, dan teks, dengan satu atau lebih kata dikosongkan. Pekerjaan sejauh ini telah menunjukkan bahwa ini sangat efektif untuk NLP; jenis jaringan yang digunakan, transformer, memiliki fase pelatihan yang menggunakan pembelajaran yang diawasi sendiri.

Masalah dari perspektif perangkat keras adalah bahwa jaringan transformator untuk NLP bisa sangat besar:Yang terbesar saat ini memiliki 5 miliar parameter dan berkembang pesat, kata Le Cun. Jaringannya sangat besar sehingga tidak sesuai dengan memori GPU dan harus dipecah-pecah.

“Pembelajaran mandiri adalah masa depan – tidak ada pertanyaan [tentang itu],” katanya. “Tetapi ini merupakan tantangan bagi komunitas perangkat keras karena kebutuhan memori sangat besar. Karena sistem ini dilatih dengan data tidak berlabel, yang berlimpah, kami dapat melatih jaringan yang sangat besar dalam hal data. Persyaratan perangkat keras untuk sistem final akan jauh lebih besar daripada yang ada saat ini. Perlombaan perangkat keras tidak akan berhenti dalam waktu dekat.”

Tren perangkat keras

Ide perangkat keras baru yang menggunakan teknik seperti komputasi analog, spintronics, dan sistem optik ada di radar Le Cun. Dia menyebutkan kesulitan komunikasi — masalah mengubah sinyal antara perangkat keras baru dan infrastruktur komputasi lainnya yang diperlukan — sebagai kelemahan besar. Implementasi analog, katanya, bergantung pada pembuatan aktivasi yang sangat jarang untuk mendapatkan keuntungan dalam konsumsi energi, dan dia mempertanyakan apakah ini akan selalu memungkinkan.

Le Cun menggambarkan dirinya sebagai "skeptis" terhadap pendekatan baru yang futuristik seperti jaringan saraf spiking dan komputasi neuromorfik secara umum. Ada kebutuhan untuk membuktikan bahwa algoritme berfungsi sebelum membuat chip untuk mereka, katanya.

“Mengendalikan desain sistem seperti itu melalui perangkat keras, berharap seseorang akan menemukan algoritme yang akan menggunakan perangkat keras ini, mungkin bukan ide yang baik,” kata Le Cun.

Garis Waktu Pemrosesan Jaringan Neural

Akhir 1980-an :Array resistor digunakan untuk melakukan perkalian matriks. Pada akhir 1980-an, array telah memperoleh amplifier dan konverter di sekitarnya tetapi masih cukup primitif menurut standar saat ini. Batasannya adalah seberapa cepat data dapat dimasukkan ke dalam chip.
1991 :Chip pertama yang dirancang untuk jaringan saraf convolutional (CNN) dibangun. Chip ini mampu 320 giga-operasi per detik (GOPS) pada data biner, dengan register geser digital yang meminimalkan jumlah lalu lintas eksternal yang diperlukan untuk melakukan konvolusi, sehingga mempercepat operasi. Chip tidak digunakan di luar akademisi.
1992 :ANNA, chip ALU jaringan saraf analog, memulai debutnya. Dirancang untuk CNN dengan bobot 6-bit dan aktivasi 3-bit, ANNA berisi 180.000 transistor dalam CMOS 0,9 m. Ini digunakan untuk pengenalan karakter optik dari teks tulisan tangan.
1996 :DIANA, versi digital ANNA, dirilis. Tetapi dengan jaringan saraf yang tidak disukai pada pertengahan 1990-an, DIANA akhirnya digunakan kembali untuk pemrosesan sinyal di menara ponsel.
2009–2010 :Para peneliti mendemonstrasikan akselerator jaringan saraf perangkat keras pada FPGA (Xilinx Virtex 6). Ini menjalankan demo untuk segmentasi semantik untuk mengemudi otomatis dan mampu 150 GOPS di sekitar 0,5 W. Tim, dari Universitas Purdue, mencoba membuat ASIC berdasarkan pekerjaan ini, tetapi proyek tersebut terbukti tidak berhasil. (Sumber:Yann Le Cun/Facebook)