Microsoft Mencapai Terobosan Baru Di Bidang AI Percakapan

• Microsoft membuat rekor baru di bidang kecerdasan buatan percakapan.
• Mereka telah mengembangkan versi Multi-Task Deep Neural Network yang disempurnakan untuk mempelajari representasi teks di berbagai tugas pemahaman bahasa alami.

Representasi bahasa yang kuat dan universal penting untuk mendapatkan hasil yang layak pada berbagai tugas Natural Language Processing (NLP). Pembelajaran ensemble adalah salah satu pendekatan yang paling efisien untuk meningkatkan generalisasi model. Sejauh ini, pengembang telah menggunakannya untuk mendapatkan hasil mutakhir dalam berbagai tugas pemahaman bahasa alami (NLU), mulai dari pemahaman membaca mesin hingga menjawab pertanyaan.

Namun, model ensemble seperti itu berisi ratusan model jaringan saraf dalam (DNN) dan cukup mahal untuk diimplementasikan. Model pra-pelatihan, seperti GPT dan BERT, juga sangat mahal untuk diterapkan. GPT, misalnya, terdiri dari 48 lapisan trafo dengan 1,5 miliar parameter, sedangkan BERT memiliki 24 lapisan trafo dengan 344 juta parameter.

Pada tahun 2019, Microsoft membuat algoritma pemrosesan bahasa alami (NLP) sendiri, bernama Multi-Task DNN. Mereka kini telah memperbarui algoritme ini untuk mendapatkan hasil yang mengesankan.

Memperluas Penyulingan Pengetahuan

Tim peneliti mengompres beberapa model yang digabungkan menjadi satu DNN Multi-Tugas, menggunakan distilasi pengetahuan. Mereka menggunakan model ensemble [secara offline] untuk menghasilkan target lunak untuk setiap tugas dalam set data pelatihan. Dibandingkan dengan target yang sulit, mereka menawarkan data yang lebih berguna per sampel pelatihan.

Mari kita ambil sebuah kalimat misalnya, “Saya mengobrol baik dengan John tadi malam”, sentimen dalam frasa ini tidak mungkin negatif. Namun, kalimat “Kami memiliki percakapan yang menarik tadi malam” bisa negatif atau positif, berdasarkan konteksnya.

Referensi:arXiv:1904.09482 | Blog Riset Microsoft 

Para peneliti menggunakan target yang tepat dan target lunak di berbagai tugas untuk melatih satu MT-DNN. Mereka menggunakan kerangka kerja pembelajaran mendalam PyTorch yang dipercepat cuDNN untuk melatih dan menguji model baru pada GPU NVIDIA Tesla V100.

Hasil

Mereka membandingkan MT-DNN suling dengan MT-DNN dan BERT normal. Hasil menunjukkan bahwa MT-DNN yang disuling mengungguli kedua model dengan selisih yang signifikan, dalam hal skor keseluruhan pada tolok ukur Evaluasi Pemahaman Bahasa Umum (GLUE), yang digunakan untuk menguji kinerja sistem pada berbagai fenomena linguistik.

skor tolok ukur GLUE 

Benchmark terdiri dari 9 tugas NLU, termasuk kesamaan teks, entailment tekstual, analisis sentimen, dan penjawab pertanyaan. Data tersebut berisi beberapa ratus pasangan kalimat yang diambil dari berbagai sumber, seperti teks akademik dan ensiklopedis, berita, dan media sosial.

Semua eksperimen yang dilakukan dalam penelitian ini dengan jelas menunjukkan bahwa representasi bahasa yang dipelajari melalui MT-DNN suling lebih universal dan kuat daripada MT-DNN dan BERT normal.

Baca:Bosque:Bahasa Pemrograman Baru Microsoft Tanpa Loop

Di tahun-tahun mendatang, para peneliti akan mencoba menemukan cara yang lebih baik untuk menggabungkan target yang tepat dan target lunak untuk pembelajaran multi-tugas. Dan, daripada mengompresi model yang rumit menjadi model yang lebih sederhana, mereka akan mengeksplorasi cara yang lebih baik dalam menggunakan distilasi pengetahuan untuk meningkatkan kinerja model terlepas dari kerumitannya.