AI Umum

DRAGIN: Kerangka Kerja Pembelajaran Mesin Baru untuk Penambahan Pengambilan Dinamis pada Model Bahasa Besar dan Mengungguli Metode Konvensional

Pengenalan

Paradigma Pembangkitan Penambahan Pengambilan Dinamis (RAG) bertujuan untuk meningkatkan kinerja LLM dengan menentukan kapan harus mengambil informasi eksternal dan apa yang harus diambil selama pembuatan teks. Metode saat ini sering bergantung pada aturan statis untuk memutuskan kapan harus mengambil dan membatasi pengambilan pada kalimat atau token terbaru, yang mungkin tidak menangkap konteks penuh. Pendekatan ini berisiko memasukkan data yang tidak relevan dan meningkatkan biaya komputasi secara tidak perlu. Strategi efektif untuk waktu pengambilan yang optimal dan pembuatan kueri yang relevan sangat penting untuk meningkatkan pembuatan LLM sekaligus mengurangi tantangan ini.

Kerangka Kerja DRAGIN

Peneliti dari Universitas Tsinghua dan Institut Teknologi Beijing telah mengembangkan DRAGIN, kerangka kerja Pembangkitan Penambahan Pengambilan Dinamis yang dirancang khusus untuk LLM. DRAGIN secara dinamis menentukan kapan dan apa yang akan diambil berdasarkan kebutuhan informasi waktu nyata selama pembuatan teks. Ini memperkenalkan RIND untuk waktu pengambilan, dengan mempertimbangkan ketidakpastian LLM dan kepentingan token, dan QFS untuk perumusan kueri, yang memanfaatkan perhatian sendiri di seluruh konteks. DRAGIN mengungguli metode yang ada di empat kumpulan data intensif pengetahuan tanpa memerlukan pelatihan tambahan atau rekayasa cepat.

Komponen DRAGIN

Kerangka kerja DRAGIN terdiri dari dua komponen utama:

  • Deteksi Kebutuhan Informasi Waktu Nyata (RIND)
  • Perumusan Kueri Berdasarkan Perhatian Sendiri (QFS)

Evaluasi dan Hasil

Kinerja DRAGIN dievaluasi terhadap berbagai metode dasar pada empat kumpulan data, dan hasil eksperimen dibandingkan. DRAGIN secara konsisten mengungguli metode lain, menunjukkan keefektifannya dalam meningkatkan LLM. Analisis efisiensi mengungkapkan bahwa DRAGIN membutuhkan lebih sedikit panggilan pengambilan daripada beberapa dasar, yang menunjukkan efisiensinya. Analisis waktu menunjukkan keunggulan DRAGIN dalam menentukan momen pengambilan optimal berdasarkan kebutuhan informasi waktu nyata. Metode perumusan kueri DRAGIN mengungguli kerangka kerja lain, menekankan kemampuannya untuk memilih token yang mewakili kebutuhan informasi LLM secara akurat. Selain itu, BM25 mengungguli SGPT sebagai metode pengambilan, menunjukkan efektivitas pendekatan berbasis leksikon yang berkelanjutan dalam tugas RAG.

Kesimpulan

Kesimpulannya, DRAGIN adalah kerangka kerja yang mengatasi keterbatasan dalam metode RAG dinamis untuk LLM. DRAGIN meningkatkan waktu aktivasi pengambilan dengan RIND dan meningkatkan presisi perumusan kueri menggunakan QFS, yang mengarah pada kinerja yang lebih baik pada tugas-tugas intensif pengetahuan. Terlepas dari ketergantungannya pada mekanisme perhatian sendiri LLM berbasis Transformer, DRAGIN menunjukkan efektivitas. Pekerjaan di masa depan bertujuan untuk mengatasi keterbatasan yang terkait dengan aksesibilitas perhatian sendiri.