Melatih Jaringan Neural Besar Dapat Memancarkan 284.000 Kilogram CO2

• Mengembangkan dan mengoptimalkan jaringan saraf yang besar dapat mengeluarkan sebanyak 284.000 kilogram karbon dioksida.
• Ini setara dengan 5 kali emisi seumur hidup dari rata-rata mobil.

Kemajuan terbaru di bidang kecerdasan buatan (AI) telah mengantarkan era baru jaringan besar yang dilatih pada data masif. Jaringan ini memiliki peningkatan akurasi yang drastis di beberapa tugas pemrosesan bahasa alami dasar (NLP).

Model yang paling haus sumber daya, khususnya, telah mencapai skor tertinggi. Namun, melatih model seperti itu membutuhkan sejumlah besar sumber daya komputasi, yang membutuhkan energi yang signifikan.

Baru-baru ini, para peneliti di University of Massachusetts Amherst menerbitkan makalah yang menjelaskan emisi karbon dioksida dari model AI, dengan melakukan penilaian siklus hidup untuk melatih jaringan saraf besar.

Satu dekade yang lalu, model NLP dapat dikembangkan dan dilatih di server atau laptop konvensional, tetapi sekarang tidak lagi. Saat ini, model yang sangat akurat memerlukan beberapa instans TPU (unit pemrosesan tensor) atau GPU. Penelitian dan eksperimen dengan arsitektur model dan hyperparameter semakin meningkatkan biaya perangkat keras.

Menghidupkan perangkat keras seperti itu selama berminggu-minggu meninggalkan dampak besar pada lingkungan. Meskipun sebagian dari energi ini berasal dari sumber terbarukan, itu terbatas pada teknologi yang saat ini kita miliki untuk menghasilkan dan menyimpannya. Faktanya, sebagian besar lokasi memiliki fasilitas yang cukup untuk memperoleh energi dari sumber netral karbon.

Emisi Karbon Dari Model Pelatihan NLP

Dalam studi ini, para peneliti mengkarakterisasi emisi karbon dan biaya yang dihasilkan dari pelatihan jaringan saraf besar. Mereka memperkirakan berapa kilowatt energi yang dibutuhkan untuk mengembangkan dan menyetel model NLP yang populer. Mereka kemudian mengubahnya menjadi perkiraan biaya listrik dan emisi karbon.

Perkiraan emisi CO2 dari model NLP vs konsumsi umum lainnya 

Temuan menunjukkan bahwa mengembangkan dan mengoptimalkan pipa NLP besar dapat memancarkan 284.000 kilogram karbon dioksida, yang setara dengan 5 kali emisi seumur hidup mobil rata-rata (termasuk proses pembuatannya).

Referensi:arXiv:1906.02243

Biaya keuangan dan lingkungan meningkat secara proporsional dengan ukuran model AI. Namun begitu Anda menambahkan fungsi penyetelan untuk lebih meningkatkan akurasi model, biaya terkait akan membengkak.

Lebih khusus lagi, fungsi penyetelan (juga disebut penelusuran arsitektur saraf) — secara berulang mengubah desain jaringan melalui uji coba intensif —  menghasilkan biaya yang sangat tinggi untuk sedikit peningkatan kinerja.

Mempertimbangkan tren yang sedang berlangsung di bidang AI, pentingnya penelitian ini sangat besar. Banyak fasilitas penelitian AI mengabaikan efisiensi karena model jaringan yang dilatih pada data yang berlimpah ternyata berguna dalam berbagai tugas.

Baca:Daun Buatan Dapat Mengurangi Karbon Dioksida Dari Atmosfer

Meskipun ada algoritme yang efisien secara komputasi, mereka hampir tidak digunakan dalam praktik untuk mengoptimalkan model NLP, karena tidak kompatibel dengan kerangka kerja deep learning yang paling umum seperti TensorFlow dan PyTorch.

Menurut para peneliti, jenis penelitian ini harus dilakukan untuk meningkatkan kesadaran tentang penggunaan sumber daya secara ekstensif dan mempromosikan praktik dan kebijakan yang penuh perhatian.