AI Umum

Optimalisasi Pembelajaran Model Bahasa: Jalan Menuju Efisiensi Pembelajaran Optimal

Dengan berkembangnya model bahasa, terdapat fokus besar pada peningkatan pembelajaran model bahasa (LM) untuk mempercepat laju pembelajaran dan mencapai kinerja model tertentu dengan langkah pelatihan sesedikit mungkin. Penekanan ini membantu manusia memahami batasan LM di tengah meningkatnya kebutuhan komputasi. Hal ini juga memajukan demokratisasi model bahasa besar (LLM), yang menguntungkan komunitas penelitian dan industri.

Penelitian sebelumnya seperti “Model Pra-Terlatih: Masa Lalu, Sekarang, dan Masa Depan” berfokus pada perancangan arsitektur yang efektif, pemanfaatan konteks yang kaya, dan peningkatan efisiensi komputasi. Dalam “h2oGPT: Mendemokratisasi Model Bahasa Besar”, para peneliti telah mencoba membuat alternatif sumber terbuka untuk pendekatan sumber tertutup. Dalam “Optimasi Batch Besar untuk Pembelajaran Mendalam: Pelatihan BERT dalam 76 Menit”, mereka mencoba mengatasi tantangan komputasi LLM.

Penelitian sebelumnya ini mengeksplorasi metode akselerasi praktis pada tingkat model, pengoptimal, atau data. Para peneliti dari CoAI Group, Tsinghua University, dan Microsoft Research telah mengusulkan sebuah teori untuk mengoptimalkan pembelajaran LM, dimulai dengan memaksimalkan rasio kompresi data. Mereka menurunkan teorema Hukum Pembelajaran untuk menjelaskan dinamika pembelajaran yang optimal. Eksperimen validasi pada tugas klasifikasi linier dan pemodelan bahasa mengonfirmasi sifat teorema tersebut.

Hasil menunjukkan bahwa pembelajaran LM yang optimal meningkatkan koefisien dalam hukum penskalaan LM, menawarkan implikasi yang menjanjikan untuk metode akselerasi pembelajaran praktis. Dalam metode mereka (“Pembelajaran Optimal Model Bahasa”), para peneliti mendemonstrasikan prinsip-prinsip pengoptimalan kecepatan pembelajaran LM, termasuk tujuan optimasi, sifat dinamika pembelajaran yang optimal, dan peningkatan penting dari akselerasi pembelajaran.

Untuk tujuan optimasi, mereka telah mengusulkan untuk meminimalkan luas di bawah kurva (AUC), sebuah proses pembelajaran dengan AUC kerugian terkecil sesuai dengan rasio kompresi tertinggi. Kemudian, mereka menurunkan teorema Hukum Pembelajaran yang mengkarakterisasi sifat dinamika dalam proses pembelajaran LM yang mencapai titik optimal tujuan mereka. Di sini, sebuah kebijakan pembelajaran menginduksi proses pembelajaran yang menentukan titik data mana yang dipelajari LM saat pelatihan berlangsung.

Setelah melakukan eksperimen pada klasifikasi linier dengan Perceptron dan pemodelan bahasa dengan Transformer, para peneliti mengoptimalkan kebijakan pembelajaran dan memvalidasinya secara empiris. Kebijakan yang mendekati optimal secara signifikan mempercepat pembelajaran, meningkatkan AUC kerugian sebesar 5,50× dan 2,41× untuk Perceptron dan Transformer, masing-masing. Hasil mengkonfirmasi prediksi teoritis, menunjukkan peningkatan koefisien hukum penskalaan hingga 96,6% dan 21,2%, menjanjikan pelatihan LM yang lebih cepat dengan signifikansi praktis.


Sebagai kesimpulan, para peneliti dari CoAI Group, Tsinghua University, dan Microsoft Research telah mengusulkan sebuah teori untuk mengoptimalkan pembelajaran LM untuk memaksimalkan rasio kompresi. Mereka menurunkan teorema Hukum Pembelajaran, yang mengonfirmasi bahwa semua contoh berkontribusi sama terhadap pembelajaran yang optimal, yang divalidasi dalam eksperimen. Proses optimal meningkatkan koefisien hukum penskalaan LM, yang memandu metode akselerasi di masa depan.