AI Umum

Resep LongAlign: Instruksi Data, Pelatihan, dan Evaluasi untuk Penyelarasan Konteks Panjang

Pendahuluan

Artikel ini membahas pendekatan komprehensif yang disebut LongAlign, yang dirancang untuk menyelaraskan model bahasa besar (LLM) untuk menangani konteks panjang secara efektif. Pendekatan ini mengatasi tantangan dalam menyelaraskan konteks panjang, termasuk kurangnya kumpulan data yang luas, kesulitan dalam menangani distribusi panjang yang bervariasi, dan kebutuhan akan tolok ukur yang kuat.

Data Instruksi

LongAlign menggunakan Self-Instruct untuk membuat kumpulan data yang beragam dan panjang, mencakup tugas-tugas dari berbagai sumber. Hal ini memastikan bahwa LLM dilatih pada berbagai instruksi yang mencerminkan konteks dunia nyata.

Pelatihan Efisien

Untuk mengatasi inefisiensi pelatihan yang disebabkan oleh distribusi panjang yang bervariasi, LongAlign menggunakan strategi pengemasan dan pengelompokan yang diurutkan. Selain itu, metode pembobotan kerugian digunakan untuk menyeimbangkan kontribusi dari urutan yang berbeda selama pelatihan.

Evaluasi

LongBench-Chat diperkenalkan sebagai tolok ukur evaluasi yang terdiri dari pertanyaan terbuka dengan panjang 10k-100k. Tolok ukur ini menilai kemampuan LLM untuk mengikuti instruksi dalam skenario konteks panjang yang praktis.

Hasil

Eksperimen menunjukkan bahwa LongAlign meningkatkan kinerja LLM pada tugas konteks panjang hingga 30% tanpa mengorbankan kemahiran pada tugas yang lebih pendek. Selain itu, jumlah dan keragaman data berdampak signifikan pada kinerja, sementara data instruksi panjang meningkatkan kinerja tugas konteks panjang tanpa memengaruhi penanganan konteks pendek.

Kesimpulan

LongAlign memberikan resep komprehensif untuk menyelaraskan LLM dengan konteks panjang secara efektif. Dengan menggunakan data instruksi yang beragam, pelatihan yang efisien, dan evaluasi yang komprehensif, LongAlign mengungguli metode yang ada hingga 30% dalam tugas konteks panjang. Ketersediaan model, kode, dan data LongAlign yang bersumber terbuka memfasilitasi penelitian dan eksplorasi lebih lanjut di bidang ini.