AI Umum

Kerangka Kerja ResLoRA Baru yang Ditingkatkan untuk Adaptasi Peringkat Rendah (LoRA) dari Peneliti AI Microsoft

Pendahuluan

Model bahasa besar (LLM) dengan ratusan miliar parameter telah meningkatkan kinerja secara signifikan pada berbagai tugas. Penyetelan halus LLM pada kumpulan data tertentu meningkatkan kinerja dibandingkan dengan prompting selama inferensi, tetapi menimbulkan biaya tinggi karena volume parameter. Adaptasi peringkat rendah (LoRA) adalah metode penyetelan halus yang efisien parameter untuk LLM, namun memperbarui bobot blok LoRA secara efisien merupakan tantangan karena jalur kalkulasi model yang panjang.

Metode Penyetelan Halus yang Efisien Parameter (PEFT)

Berbagai metode penyetelan halus yang efisien parameter (PEFT) telah diusulkan untuk mengatasi masalah ini. Metode PEFT membekukan semua parameter dalam model asli dan hanya menyetel beberapa parameter dalam modul yang baru ditambahkan. Di antara metode tersebut, salah satu metode PEFT yang paling populer adalah LoRA.

LoRA

LoRA membekukan sebagian besar parameter dalam model asli dan hanya memperbarui beberapa parameter dalam modul yang ditambahkan. LoRA menggunakan adaptasi peringkat rendah, menggabungkan matriks yang sejajar dengan lapisan linier beku selama inferensi. Namun, jalur balik LoRA yang panjang menimbulkan tantangan. Mengintegrasikan LoRA dengan ResNet dan Transformers menimbulkan kompleksitas desain, yang memengaruhi aliran gradien selama pelatihan.

ResLoRA

Peneliti dari School of Computer Science and Engineering, Beihang University, Beijing, Tiongkok, dan Microsoft telah memperkenalkan ResLoRA, kerangka kerja LoRA yang ditingkatkan. ResLoRA terutama terdiri dari dua bagian: blok ResLoRA dan pendekatan penggabungan.

Blok ResLoRA

Blok ResLoRA menambahkan jalur residual ke blok LoRA selama pelatihan, sementara pendekatan penggabungan mengubah blok ResLoRA menjadi blok LoRA selama inferensi. Para peneliti juga mengklaim bahwa, sepengetahuan mereka, ResLoRA adalah karya pertama yang menggabungkan jalur residual dengan LoRA.

Mereka merancang tiga blok yang terinspirasi oleh ResNet: input-shortcut, block-shortcut, dan middle-shortcut, yang menambahkan jalur residual ke blok LoRA. Struktur ini bertujuan untuk mengoptimalkan aliran gradien selama pelatihan dan penting untuk penyetelan parameter yang efisien.

Pendekatan Penggabungan

Masalah penting muncul karena ResLoRA memperkenalkan struktur non-datar, tidak seperti LoRA, yang menyatu dengan lapisan linier secara mulus. Untuk mengatasi masalah ini, mereka telah merancang pendekatan penggabungan. Untuk struktur block-shortcut, penggabungan bergantung pada bobot blok sebelumnya. Presisi faktor skala, yang ditentukan menggunakan norma Frobenius, memastikan penggabungan model yang akurat. Dua pendekatan, berdasarkan bobot input dan blok, memfasilitasi integrasi yang mulus, meminimalkan latensi dalam inferensi.

Hasil

Dalam eksperimen ekstensif yang mencakup pembuatan bahasa alami (NLG) dan pemahaman (NLU), ResLoRA mengungguli varian LoRA seperti AdaLoRA, LoHA, dan LoKr. ResLoRA dan ResLoRAbs secara konsisten melampaui LoRA di seluruh tolok ukur NLG dan NLU, menunjukkan peningkatan akurasi mulai dari 10,98% hingga 36,85%. ResLoRA juga menunjukkan pelatihan yang lebih cepat dan kualitas pembuatan gambar yang lebih unggul daripada LoRA dalam tugas teks-ke-gambar.

Kesimpulan

Para peneliti dari School of Computer Science and Engineering, Beihang University, Beijing, Tiongkok, dan Microsoft telah memperkenalkan ResLoRA, kerangka kerja LoRA yang ditingkatkan. ResLoRA memperkenalkan jalur residual selama pelatihan dan menggunakan pendekatan penggabungan untuk menghilangkan jalur selama inferensi. ResLoRA mengungguli LoRA asli dan metode dasar lainnya di seluruh tugas NLG, NLU, dan teks-ke-gambar. Hasilnya mengonfirmasi efektivitas ResLoRA, mencapai hasil yang unggul dengan langkah pelatihan yang lebih sedikit dan tanpa parameter yang dapat dilatih tambahan.