GLTR: Alat Statistik Andalan untuk Mengidentifikasi Teks Hasilkan AI
- Metode statistik baru dapat mendeteksi konten yang dihasilkan AI.
- Ini bekerja dengan mengidentifikasi teks yang terlalu dapat diprediksi daripada hanya menandai kesalahan dalam teks.
Dalam dekade terakhir, komunitas pemrosesan bahasa alami telah menjadi saksi pertumbuhan model bahasa yang semakin besar dan semakin cerdas.
Pada era buatan pintar dan jaringan saraf dalam yang dilengkapi dengan bahasa alami manusia, peneliti di Harvard University dan IBM Research telah mengembangkan metode statistik untuk mendeteksi teks yang dihasilkan komputer.
Mereka telah membangun alat interaktif (tersedia untuk umum) untuk membedakan bahasa alami manusia dan teks yang dihasilkan mesin dari ucapan manusia. Tujuannya adalah untuk memberi orang lebih banyak informasi sehingga mereka dapat membuat keputusan yang tepat tentang apa yang palsu dan apa yang nyata.
Model buatan pintar biasanya dilatih pada jutaan teks (yang diambil dari dunia web). Mereka memprediksi kata yang paling sering mengikuti satu sama lain untuk meniru bahasa manusia. Misalnya, kata “You” secara statistik paling mungkin diikuti oleh kata “were”, “have”, dan “are”.
Menggunakan metodologi ini, peneliti membangun alat yang mendeteksi teks yang terlalu dapat diprediksi [daripada menandai kesalahan dalam teks]. Ini memungkinkan AI dan manusia untuk bekerja sama untuk mengidentifikasi bahasa yang dihasilkan mesin.
Bagaimana Cara Kerjanya?
Teknik baru — bernama Giant Language model Test Room (GLTR) — didasarkan pada model yang dilatih pada sekitar 45 juta teks dari situs web. Ia memiliki akses ke salah satu model yang paling besar yang tersedia untuk umum, GPT-2.
Jadi, ia dapat mengamati apa yang akan diprediksi oleh GPT-2 pada setiap posisi (untuk masukan teks apa pun) dan melakukan dengan efisien terhadap GPT-2 dan banyak model lainnya.
GLTR merepresentasikan alat forensik visual untuk mengidentifikasi teks yang dihasilkan secara otomatis. Ini menunjukkan 3 histogram berbeda yang mengagregat informasi di seluruh teks.
Referensi: The Harvard Gazette | GitHub
Cukup masukkan paragraf ke dalam kotak alat dan itu akan menyoroti semua kata dalam empat warna berbeda, masing-masing menunjukkan dapat diprediksinya kata dalam konteks apa yang mengikutinya. Ungu berarti kata tidak dapat diprediksi; merah, sedikit dapat diprediksi; kuning, cukup dapat diprediksi; dan hijau menunjukkan kata yang sangat dapat diprediksi dalam paragraf.
Ini adalah tampilan paragraf yang dihasilkan mesin –
Histogram pertama menunjukkan berapa banyak kata dari setiap kategori yang muncul dalam paragraf. Histogram kedua menunjukkan rasio antara probabilitas kata yang paling diprediksi dan kata berikutnya. Histogram ketiga mewakili distribusi dari entropi prediksi.
Tentu saja, ketidakpastian akan lebih tinggi untuk teks yang ditulis manusia, terutama untuk makalah penelitian dan teks akademik. Ini adalah tampilan abstrak makalah penelitian (tentang galaksi EAGLE) –
Tim penelitian juga menguji alat baru mereka dengan sekelompok lulusan ilmu komputer. Mahasiswa mampu mendeteksi 50% paragraf yang dihasilkan komputer, namun dengan bantuan alat ini, mereka mengidentifikasi 72%. Persentase bisa lebih baik lagi dengan sedikit pelatihan dengan sistem ini.
