AI Umum

LLAMAFACTORY: Kerangka Kerja Pembelajaran Mesin Terpadu yang Mengintegrasikan Rangkaian Metode Pelatihan Efisien Canggih, Memungkinkan Pengguna Menyesuaikan Penyetelan Halus 100+ LLM Secara Fleksibel

Pendahuluan

Model bahasa besar (LLM) telah merevolusi pemrosesan bahasa alami (NLP) dengan mencapai kinerja luar biasa dalam berbagai tugas seperti pembuatan teks, penerjemahan, analisis sentimen, dan tanya jawab. Penyetelan halus yang efisien sangat penting untuk mengadaptasi LLM ke berbagai fungsi hilir. Ini memungkinkan praktisi untuk memanfaatkan pengetahuan model yang telah dilatih sebelumnya sekaligus membutuhkan lebih sedikit data berlabel dan sumber daya komputasi dibandingkan pelatihan dari awal. Namun, menerapkan metode ini pada model yang berbeda membutuhkan upaya yang tidak sepele. Menyetel banyak parameter dengan sumber daya terbatas menjadi tantangan utama dalam mengadaptasi LLM ke tugas hilir.

Metode Penyetelan Halus yang Efisien

Solusi populer adalah penyetelan halus yang efisien, yang mengurangi biaya pelatihan LLM saat beradaptasi dengan berbagai tugas. Berbagai upaya lain telah dilakukan untuk mengembangkan metode penyetelan halus LLM yang efisien. Namun, mereka membutuhkan kerangka kerja sistematis yang mengadaptasi dan menyatukan metode ini ke berbagai LLM dan menyediakan antarmuka yang ramah untuk penyesuaian pengguna.

LLAMAFACTORY

Para peneliti dari School of Computer Science and Engineering, Beihang University, dan School of Software and Microelectronics, Peking University, mempersembahkan LLAMAFACTORY. Kerangka kerja ini mendemokratisasi penyetelan halus LLM. Ini menyatukan berbagai metode penyetelan halus yang efisien melalui modul yang dapat diskalakan, memungkinkan penyetelan halus ratusan LLM dengan sumber daya minimal dan hasil yang tinggi. Selain itu, ini menyederhanakan pendekatan pelatihan yang umum digunakan, termasuk pra-pelatihan generatif, penyetelan halus yang diawasi (SFT), pembelajaran penguatan dari umpan balik manusia (RLHF), dan optimasi preferensi langsung (DPO). Pengguna dapat memanfaatkan antarmuka baris perintah atau web untuk menyesuaikan dan menyempurnakan LLM mereka dengan sedikit atau tanpa upaya pengkodean.

Arsitektur LLAMAFACTORY

LLAMAFACTORY terdiri dari tiga modul utama: Pemuat Model, Pekerja Data, dan Pelatih. Mereka menggunakan LLAMABOARD, yang menyediakan antarmuka visual yang ramah untuk modul di atas. Hal ini memungkinkan pengguna untuk mengonfigurasi dan meluncurkan proses penyetelan halus LLM individu tanpa kode dan memantau status pelatihan dengan cepat.

  • Pemuat Model: Pemuat model terdiri dari empat komponen: Inisialisasi Model, Penambalan Model, Kuantisasi Model, dan Pemasangan Adaptor. Ini mempersiapkan berbagai arsitektur untuk penyetelan halus dan mendukung lebih dari 100 LLM.
  • Pekerja Data: Pekerja Data memproses data dari berbagai tugas melalui jalur pipa yang dirancang dengan baik yang mendukung lebih dari 50 kumpulan data.
  • Pelatih: Pelatih menyatukan metode penyetelan halus yang efisien untuk mengadaptasi model ini ke berbagai tugas dan kumpulan data, yang menawarkan empat pendekatan pelatihan.

Evaluasi

Dalam hasil evaluasi pada tugas hilir, skor rata-rata pada ROUGE-1, ROUGE-2, dan ROUGE-L untuk setiap LLM dan setiap kumpulan data dilaporkan. LoRA dan QLoRA berkinerja terbaik dalam banyak kasus, kecuali untuk model Llama2-7B dan ChatGLM3-6B pada kumpulan data CNN/DM dan AdGen. Selain itu, model Mistral-7B berkinerja lebih baik pada kumpulan data bahasa Inggris, sedangkan model Qwen1.5-7B mencapai skor lebih tinggi pada kumpulan data bahasa Mandarin.

Kesimpulan

Sebagai kesimpulan, para peneliti telah mengusulkan LLAMAFACTORY, sebuah kerangka kerja terpadu untuk penyetelan halus LLM yang efisien. Desain modular meminimalkan ketergantungan antara model, kumpulan data, dan metode pelatihan. Ini memberikan pendekatan terintegrasi untuk menyempurnakan lebih dari 100 LLM dengan beragam teknik penyetelan halus yang efisien. Selain itu, UI web fleksibel LLAMABOARD ditawarkan, memungkinkan penyetelan halus dan evaluasi LLM yang disesuaikan tanpa upaya pengkodean. Mereka juga secara empiris memvalidasi efisiensi dan efektivitas kerangka kerja mereka pada tugas pemodelan bahasa dan pembuatan teks.