AI Umum

Generasi Teks Terjamin Statistik Menggunakan Prediksi Konformal Non-Tukar

Pengantar

Generasi bahasa alami (NLG) adalah bidang penting dalam AI, yang memungkinkan aplikasi seperti terjemahan mesin (MT), pemodelan bahasa (LM), peringkasan, dan banyak lagi. Kemajuan terbaru dalam model bahasa besar (LLM) seperti GPT-4, BLOOM, dan LLaMA telah merevolusi cara kita berinteraksi dengan AI, menggunakan dekode stokastik untuk menghasilkan teks yang lancar dan beragam.

Namun, mengevaluasi keandalan teks yang dihasilkan tetap menjadi tantangan, terutama saat menerapkan model yang telah dilatih sebelumnya ke kumpulan data baru yang berpotensi berbeda, sehingga menimbulkan kekhawatiran tentang pembuatan konten yang salah atau menyesatkan.

Prediksi Konformal Non-Tukar

Dalam konteks ini, prediksi konformal, metode statistik yang menyediakan set prediksi terkalibrasi dengan jaminan cakupan, muncul sebagai solusi yang menjanjikan. Namun, penerapannya dalam NLG tidaklah mudah karena proses pembuatan bersyarat, yang melanggar asumsi distribusi identik dan independen (i.i.d.) yang menjadi pusat prediksi konformal.

Untuk mengatasi hal ini, penelitian ini memanfaatkan kemajuan dalam pemodelan bahasa tetangga terdekat dan terjemahan mesin. Mereka mengusulkan pembuatan set kalibrasi secara dinamis selama inferensi untuk menegakkan jaminan statistik.

Metode

Metode yang diusulkan, Generasi Bahasa Konformal Non-Tukar melalui Tetangga Terdekat, mensintesis pendekatan non-tukar dengan model saraf yang ditambah pencarian k-NN. Ini bertujuan untuk menghasilkan set prediksi terkalibrasi selama inferensi model dengan hanya mempertimbangkan titik data yang paling relevan dari set kalibrasi.

Ini dilakukan dengan mengekstrak aktivasi dekoder dan sumber kesesuaian dari kumpulan data urutan dan token emas yang sesuai, menyimpannya untuk pencarian k-NN yang efisien menggunakan FAISS. Selama inferensi, status tersembunyi dekoder menanyakan datastore untuk K tetangga terdekat dan skor kesesuaiannya, menghitung bobot berdasarkan jarak l2 kuadrat.

Pendekatan ini kontras dengan metode sebelumnya yang menghasilkan set prediksi yang terlalu luas, menyoroti ketepatannya dalam menghasilkan set prediksi yang relevan dan didukung statistik.

Set Prediksi Adaptif

Set Prediksi Adaptif memainkan peran penting, menawarkan skor ketidaksesuaian yang lebih bernuansa yang memperhitungkan sifat bahasa yang beragam. Pendekatan ini mencakup jangkauan kelanjutan yang masuk akal yang lebih luas untuk input yang menantang, memberikan set prediksi yang lebih luas jika diperlukan.

Eksperimen

Eksperimen dalam pemodelan bahasa dan terjemahan mesin, menggunakan model seperti M2M100 dan OPT pada kumpulan data seperti WMT2022 dan OpenWebText, menunjukkan efektivitas metode tersebut. Penggunaan FAISS untuk datastore menunjukkan keberhasilan penerapan metode yang diusulkan, menyeimbangkan cakupan tinggi dengan ukuran set prediksi minimal.

Kemampuan metode untuk mempertahankan cakupan di bawah pergeseran distribusi sangat penting, membuktikan ketahanannya bahkan dengan peningkatan varians derau.

Evaluasi Kualitas

Dalam mengevaluasi kualitas pembuatan, metode ini tidak berkompromi dan, dalam beberapa kasus, bahkan meningkatkan kualitas konten yang dihasilkan. Ini unggul dalam menghasilkan set prediksi yang sehat secara statistik sambil mempertahankan atau meningkatkan kualitas pembuatan di berbagai tugas.

Kesimpulan

Kesimpulannya, metode ini menandai kemajuan signifikan dalam penerapan prediksi konformal pada NLG, dengan mahir menangani tantangan data non-tukar dan mempertahankan cakupan yang diinginkan dengan set prediksi yang lebih kecil. Ini tidak hanya menawarkan jaminan teoretis tentang cakupan tetapi juga menunjukkan efektivitas praktis dalam tugas pembuatan.