AI Umum

DiJiang: Metode Kernelasi Domain Frekuensi Terobosan untuk Mengatasi Ketidak efisienan Komputasi yang Melekat pada Model Transformer Tradisional

Pendahuluan

Arsitektur Transformer telah menjadi yang terdepan dalam Pemrosesan Bahasa Alami (NLP) karena hasil yang luar biasa dalam berbagai tugas, termasuk pembuatan/ringkasan dokumen, terjemahan mesin, dan pengenalan ucapan. Model bahasa besar (LLM) baru-baru ini muncul sebagai model dominan karena kemampuannya untuk menyelesaikan tugas yang semakin sulit dengan meningkatkan skala struktur Transformer. Namun, mekanisme perhatian memerlukan perhitungan korelasi silang antara setiap token, sehingga meningkatkan kebutuhan pemrosesan yang terkait dengan penskalaan ini. Kebutuhan pemrosesan, biaya inferensi, dan konsumsi energi model ini menimbulkan tantangan besar ketika mencoba menerapkannya dalam situasi dengan sumber daya terbatas, seperti perangkat seluler dan robotika.

Metode Peningkatan Transformer

Studi telah difokuskan pada peningkatan arsitektur Transformer untuk memenuhi permintaan mendesak akan model Transformer yang lebih efisien. Pemangkasan model, kuantisasi, dan pembuatan proses perhatian yang lebih efektif hanyalah beberapa dari banyak pendekatan yang telah diusulkan. Menyederhanakan proses perhatian adalah salah satu inisiatif yang paling menjanjikan. Metode ini bertujuan untuk menyederhanakan mekanisme perhatian dari kompleksitas kuadratnya menjadi skala linier yang lebih mudah diatur. Namun, sebagian besar strategi pengoptimalan saat ini untuk Transformer memerlukan pelatihan ulang yang ekstensif, terutama mengenai proses perhatiannya. Prosedur pelatihan ulang ini cukup sulit, terutama untuk model yang memiliki banyak parameter. Waktu dan sumber daya komputasi yang dibutuhkan untuk menyelesaikannya sangat besar.

DiJiang: Metode Kernelasi Domain Frekuensi

Para peneliti dari Peking University dan Huawei Noah’s Ark Lab melakukan tinjauan komprehensif terhadap teknik perhatian linier saat ini untuk mengatasi masalah pendekatan perhatian yang cepat dalam model bahasa besar. Mereka menemukan bahwa pengambilan sampel Monte Carlo adalah penyebab utama kesalahan pendekatan dalam pendekatan ini. Tim memperkenalkan DiJiang, metode Kernelasi Domain Frekuensi, sebuah pendekatan baru dalam Pemrosesan Bahasa Alami. Metode ini, sejenis pengambilan sampel Quasi-Monte Carlo tertimbang, menggunakan Transformasi Kosinus Diskrit (DCT) untuk mentransfer kueri dan kunci Transformer secara efisien dan tepat ke domain frekuensi. Dengan melakukan hal itu, ia menyederhanakan komputasi perhatian dengan menghilangkan operasi softmax dari mekanisme perhatian. Pendekatan inovatif ini memastikan bahwa biaya pelatihan untuk adaptasi dari Transformer vanila ke model perhatian linier tetap rendah.

Hasil

Uji coba komprehensif tim mengonfirmasi bahwa DiJiang mencapai kinerja yang sebanding dengan Transformer tradisional sekaligus meningkatkan kecepatan inferensi dan mengurangi biaya pelatihan sekitar sepuluh kali lipat. Terlebih lagi, metode ini juga mendapat manfaat dari kecepatan inferensi yang lebih tinggi, yang dapat mencapai hingga sepuluh kali lebih cepat. Pemetaan domain frekuensi ini terbukti kira-kira sama dengan mekanisme perhatian asli dalam demonstrasi teoretis mereka. Menjanjikan penerapan yang lebih luas dan memfasilitasi terobosan dalam berbagai tugas dalam pemrosesan bahasa alami dan seterusnya, teknologi ini menandai kemajuan substansial dalam pembuatan model Transformer yang efisien dan skalabel.