Microsoft Ungkap Model Bahasa 17-Miliar-Parameter yang Mencatat Rekor

• Microsoft memperkenalkan Turing Natural Language Generation, model terbesar di dunia dengan 17 miliar parameter.
• Model ini menghasilkan ringkasan abstraktif dari dokumen teks, jawaban langsung atas pertanyaan, dan kata-kata untuk melengkapi kalimat.
• Model ini merespons dengan akurat, langsung, dan lancar seperti manusia dalam berbagai situasi.

Model bahasa pembelajaran dalam skala besar (seperti GPT-2 dan BERT), dengan miliaran parameter yang dilatih pada semua teks yang tersedia di internet, telah meningkatkan berbagai tugas pemrosesan bahasa alami (NLP), seperti pemahaman dokumen, agen konversasional, dan penjawab pertanyaan.

Telah diamati bahwa model yang lebih besar dengan data pelatihan awal yang lebih beragam dan komprehensif berkinerja lebih baik, bahkan dengan sampel pelatihan yang lebih sedikit. Jadi, lebih efisien untuk melatih model terpusat yang masif dan berbagi fiturnya di seluruh tugas yang berbeda alih-alih melatih model baru untuk setiap tugas secara individual.

Mengikuti tren ini, peneliti di Microsoft memperkenalkan Turing Natural Language Generation (T-NLG), model terbesar di dunia dengan 17 miliar parameter. Model ini mengungguli model state-of-the-art yang ada pada berbagai benchmark pemodelan bahasa.

T-NLG dapat menghasilkan kata untuk melengkapi kalimat yang belum selesai, ringkasan dari dokumen input, dan jawaban langsung atas pertanyaan. Berbeda dengan sistem NLP lain yang bergantung pada mengekstrak konten dari dokumen untuk membuat ringkasan atau menjawab pertanyaan, model generatif baru merespons dengan akurat, langsung, dan lancar seperti manusia dapat dalam berbagai situasi.

Alih-alih menyalin bagian teks, T-NLG langsung menjawab pertanyaan dengan kalimat lengkap.

Melatih T-NLG

Karena satu GPU (bahkan dengan memori 32 GB) tidak dapat memproses miliaran parameter, Anda perlu memparallelkan model itu sendiri atau memecahnya menjadi irisan untuk melatihnya di beberapa GPU.

Dalam studi ini, peneliti memanfaatkan perangkat keras NVIDIA DGX-2 (untuk membuat komunikasi antar GPU lebih cepat) dan tensor slicing (untuk memecah model di 4 GPU NVIDIA V100). Dengan menggunakan perpustakaan DeepSpeed dan Zero optimizer, mereka dapat melatih T-NLG secara sangat efisien dengan lebih sedikit GPU.

Performa terhadap tugas standar

Kemudian mereka membandingkan performa T-NLG yang telah dilatih sebelumnya dengan model bahasa transformer yang kuat lainnya pada dua tugas standar: akurasi prediksi kata berikutnya LAMBADA (semakin tinggi semakin baik) dan perpantulan Wikitext-103 (semakin rendah semakin baik). Dalam kedua kasus, T-NLG berkinerja lebih baik.

Referensi: Microsoft | GitHub

Performa dalam penjawaban pertanyaan

Untuk menguji kualitas seperti keberaturan tata bahasa dan keakuratan fakta, peneliti meminta bantuan dari anotator manusia. Mereka membandingkan model baru dengan model LSTM (mirip dengan CopyNet).

Performa dalam ringkasan aktif

T-NLG dapat menulis ringkasan abstraktif yang mirip manusia untuk berbagai dokumen teks (termasuk dokumen Word, posting blog, email, presentasi PowerPoint, dan bahkan lembar Excel), tetapi seberapa baik model ini dibandingkan dengan model NLP yang ada lainnya.

Untuk membuat model baru lebih serbaguna sehingga dapat meringkas semua jenis teks, peneliti melatihnya pada dataset ringkasan yang tersedia secara publik. Kemudian mereka membandingkannya dengan model bahasa transformer besar lainnya yang bernama PEGASUS dan versi sebelumnya. Kali ini, mereka melaporkan skor ROUGE – sekumpulan metrik yang digunakan untuk mengevaluasi ringkasan otomatis dalam pemrosesan bahasa alami.

Aplikasi

Microsoft telah mencapai pencapaian dalam kecerdasan buatan konversasional. Dalam beberapa tahun mendatang, mereka akan mengintegrasikan T-NLG ke dalam suite Microsoft Office, yang tidak hanya akan menyelamatkan waktu pengguna dengan meringkas email dan dokumen tetapi juga menawarkan bantuan penulisan dan menjawab pertanyaan yang mungkin diajukan pembaca tentang konten.

Baca: Microsoft Membangun Penyimpanan Data DNA yang Otomatis sepenuhnya

Selain itu, temuan ini membuka jalan untuk asisten digital dan chatbot yang lebih akurat dan lancar, membantu bisnis dengan penjualan dan manajemen hubungan pelanggan.