Pelatihan Jaringan Saraf Besar Menghasilkan 284.000 kg CO₂—Setara dengan Emisi Umur 5 Mobil

• Mengembangkan dan mengoptimalkan jaringan saraf besar dapat mengeluarkan hingga 284.000 kilogram karbon dioksida.
• Ini setara dengan 5 kali emisi umur hidup mobil rata-rata.

Kemajuan terbaru dalam bidang buatan pintar (AI) telah memasuki era baru dari jaringan besar yang dilatih pada data massal. Jaringan ini telah mencapai peningkatan akurasi yang drastis di beberapa tugas pemrosesan bahasa alami (NLP) dasar.

Model yang paling memerlukan sumber daya, khususnya, telah mencapai skor tertinggi. Namun, melatih model semacam ini memerlukan sejumlah besar sumber daya komputasi, yang meminta energi yang signifikan.

Baru-baru ini, peneliti di University of Massachusetts Amherst menerbitkan makalah di mana mereka menggambarkan emisi karbon dioksida dari model AI, dengan melakukan penilaian siklus hidup untuk melatih jaringan saraf besar.

Sebelum satu dekade, model NLP dapat dikembangkan dan dilatih pada server konvensional atau laptop, tetapi itu tidak lagi berlaku sekarang. Hari ini, model yang sangat akurat membutuhkan beberapa instance TPUs (tensor processing units) atau GPUs. Penelitian dan eksperimen dengan arsitektur model dan hyperparameter telah meningkatkan biaya perangkat keras lebih lanjut.

Mengaktifkan perangkat keras semacam ini selama berbulan-bulan meninggalkan dampak yang signifikan pada lingkungan. Meskipun sebagian energi ini berasal dari sumber terbarukan, itu terbatas pada teknologi yang saat ini kita miliki untuk menghasilkan dan menyimpannya. Faktanya, sebagian besar lokasi tidak memiliki fasilitas yang cukup untuk mendapatkan energi dari sumber netral karbon.

Emisi Karbon dari Pelatihan Model NLP

Dalam studi ini, peneliti mengkarakterisasi emisi karbon dan biaya yang timbul dari pelatihan jaringan saraf besar. Mereka memperkirakan berapa kilowatt energi yang dibutuhkan untuk mengembangkan dan menstabilkan model NLP populer. Mereka kemudian mengonversinya menjadi biaya listrik dan emisi karbon yang diperkirakan.

Emisi CO2 yang diperkirakan dari model NLP vs konsumsi lain yang familiar

Temuan menunjukkan bahwa mengembangkan dan mengoptimalkan saluran NLP besar dapat mengeluarkan 284.000 kilogram karbon dioksida, yang setara dengan 5 kali emisi umur hidup mobil rata-rata (termasuk proses manufakturannya).

Referensi: arXiv:1906.02243

Biaya keuangan dan lingkungan meningkat proporsional dengan ukuran model AI. Namun saat Anda menambahkan fungsi tuning untuk meningkatkan akurasi model lebih lanjut, biaya terkait meledak.

Secara lebih spesifik, fungsi tuning (juga disebut neural architecture search) — secara berulang menyesuaikan desain jaringan melalui coba dan error yang intens — menyebabkan biaya yang sangat tinggi untuk peningkatan performa yang sedikit.

Mengpertimbangkan tren yang sedang berlangsung dalam bidang AI, signifikansi penelitian ini sangat besar. Banyak fasilitas penelitian AI mengabaikan efisiensi karena model jaringan yang dilatih pada data melimpah telah terbukti berguna dalam berbagai tugas.

Baca: Daun Buatan Bisa Mengurangi Karbon Dioksida Dari Atmosfer

Sementara algoritma yang komputasional efisien ada, mereka jarang digunakan dalam praktik untuk mengoptimalkan model NLP, karena ketidakcocokan mereka dengan kerangka deep learning yang paling umum seperti TensorFlow dan PyTorch.

Menurut peneliti, jenis penelitian ini harus dilakukan untuk meningkatkan kesadaran tentang penggunaan sumber daya yang luas dan mempromosikan praktik dan kebijakan yang sadar.