Microsoft Ungkap Kemajuan dalam AI Percakapan dengan Jaringan Saraf Multi-Task Canggih
- Microsoft menciptakan catatan baru dalam bidang buatan pintar percakapan.
- Mereka telah mengembangkan versi yang ditingkatkan dari Multi-Task Deep Neural Network untuk pembelajaran representasi teks di berbagai tugas pemahaman bahasa alami.
Representasi bahasa yang kuat dan universal penting untuk mendapatkan hasil yang baik pada berbagai tugas Pemrosesan Bahasa Alami (NLP). Pembelajaran ensembl adalah salah satu pendekatan paling efisien untuk meningkatkan generalisasi model. Sejauh ini, pengembang telah menggunakannya untuk mendapatkan hasil terdepan dalam berbagai tugas pemahaman bahasa alami (NLU), mulai dari pemahaman bacaan mesin hingga penjawab pertanyaan.
Namun, model ensembl semacam ini berisi ratusan model jaringan saraf dalam (DNN) dan cukup mahal untuk diimplementasikan. Model terlatih sebelumnya, seperti GPT dan BERT, juga sangat mahal untuk digunakan. GPT, misalnya, terdiri dari 48 lapis transformer dengan 1,5 miliar parameter, sementara BERT memiliki 24 lapis transformer dengan 344 juta parameter.
Pada 2019, Microsoft menemukan algoritma pemrosesan bahasa alami (NLP) sendiri, yang bernama Multi-Task DNN. Mereka kini telah memperbarui algoritma ini untuk mendapatkan hasil yang mengesankan.
Memperluas Knowledge Distillation
Tim penelitian mengompres beberapa model ensembl menjadi satu Multi-Task DNN, menggunakan knowledge distillation. Mereka menggunakan model ensembl [secara offline] untuk menghasilkan target lunak untuk setiap tugas dalam kumpulan data pelatihan. Dibandingkan target keras, mereka menawarkan data yang lebih membantu per sampel pelatihan.
Biarkan kita ambil sebuah kalimat untuk contoh, “Saya sudah ngobrol yang baik dengan John kemarin malam”, sentimen dalam frasa ini tidak mungkin negatif. Namun, kalimat “Kita sudah memiliki percakapan yang menarik kemarin malam” bisa negatif atau positif, tergantung pada konteksnya.
Referensi: arXiv:1904.09482 | Microsoft Research Blog
Peneliti menggunakan target yang benar dan target lunak di berbagai tugas untuk melatih satu MT-DNN. Mereka menggunakan kerangka deep learning PyTorch yang dipercepat cuDNN untuk melatih dan menguji model baru pada NVIDIA Tesla V100 GPUs.
Hasil
Mereka membandingkan MT-DNN yang distilasi dengan MT-DNN normal dan BERT. Hasil menunjukkan bahwa MT-DNN yang distilasi mengalahkan kedua model dengan selisih yang signifikan, dalam hal skor keseluruhan pada benchmark General Language Understanding Evaluation (GLUE), yang digunakan untuk menguji kinerja sistem pada berbagai fenomena linguistik.
Skor benchmark GLUE
Benchmark ini terdiri dari 9 tugas NLU, termasuk kesamaan teks, entailan tekstual, analisis sentimen, dan penjawab pertanyaan. Data berisi beberapa pasang kalimat ratusan yang ditarik dari berbagai sumber, seperti teks akademik dan ensiklopedia, berita dan media sosial.
Semua eksperimen yang dilakukan dalam penelitian ini secara jelas menunjukkan bahwa representasi bahasa yang dipelajari melalui MT-DNN yang distilasi lebih universal dan kuat dibandingkan MT-DNN dan BERT yang normal.
Baca: Bosque: Bahasa Pemrograman Baru Microsoft Tanpa Loop
Dalam beberapa tahun mendatang, peneliti akan mencoba menemukan cara yang lebih baik untuk menggabungkan target yang benar dan target lunak untuk pembelajaran multi-tugas. Dan, daripada mengompres model yang rumit menjadi yang lebih sederhana, mereka akan menjelajahi cara yang lebih baik untuk menggunakan knowledge distillation untuk meningkatkan performa model terlepas dari kompleksitasnya.
