AI Umum

Penyesuaian Adapter Berkelanjutan (CAT): Kerangka Pembelajaran Mesin Efisien Parameter yang Menghindari Lupa Bencana dan Memungkinkan Transfer Pengetahuan dari Tugas ASC yang Dipelajari ke Tugas ASC Baru

Pendahuluan

Klasifikasi Sentimen Aspek (ASC) adalah tugas penting yang bertujuan untuk membedakan polaritas sentimen dalam domain tertentu, seperti ulasan produk, di mana sentimen terhadap aspek tertentu perlu diidentifikasi. Pembelajaran Berkelanjutan (CL) menimbulkan tantangan yang signifikan bagi model ASC karena Lupa Bencana (CF), di mana mempelajari tugas baru menyebabkan hilangnya pengetahuan yang diperoleh sebelumnya. Karena model ASC harus beradaptasi dengan distribusi data yang berkembang di berbagai domain, mencegah CF menjadi sangat penting.

Metode yang Ada dan Batasannya

Ketika jumlah tugas meningkat, teknik tradisional sering kali mengharuskan penyimpanan titik pemeriksaan model yang berbeda untuk setiap tugas, yang menjadi tidak layak. Metode baru mencoba mengurangi CF dengan membekukan model inti secara terpisah dan melatih komponen khusus tugas. Namun, mereka sering gagal mempertimbangkan transfer pengetahuan yang efektif antar tugas, yang membuat mereka lebih sulit untuk menangani peningkatan jumlah domain secara efektif.

Penyesuaian Adapter Berkelanjutan (CAT)

Baru-baru ini, sebuah tim peneliti dari Tiongkok menerbitkan sebuah artikel baru yang memperkenalkan metode inovatif untuk mengatasi keterbatasan pendekatan yang ada dalam ASC. Pendekatan yang mereka usulkan, Continual Adapter Tuning (CAT), menggunakan adapter khusus tugas sambil membekukan model pra-latih tulang punggung untuk mencegah lupa bencana dan memungkinkan pembelajaran tugas baru yang efisien. Selain itu, inisialisasi adapter berkelanjutan membantu transfer pengetahuan, sementara pembelajaran kontrastif yang sadar label meningkatkan klasifikasi polaritas sentimen. Strategi pemungutan suara polaritas sentimen mayoritas menyederhanakan pengujian dengan menghilangkan kebutuhan akan ID tugas, yang menghasilkan kerangka kerja efisien parameter yang meningkatkan kinerja ASC.

Arsitektur dan Pelatihan

Metode CAT yang diusulkan mengatasi tantangan pembelajaran berurutan dalam tugas ASC dengan memanfaatkan arsitektur Adapter-BERT, varian dari arsitektur model BERT (Representasi Encoder Bidirectional dari Transformer) yang memperluas BERT dengan menggabungkan adapter, yang merupakan modul jaringan saraf kecil yang dimasukkan ke dalam setiap lapisan arsitektur BERT. Adapter ini memungkinkan BERT untuk disetel dengan baik untuk tugas hilir tertentu sambil mempertahankan sebagian besar parameter pra-latihnya. Dengan demikian, Adapter-BERT memungkinkan penyetelan yang lebih efisien dan efisien parameter untuk berbagai tugas pemrosesan bahasa alami, termasuk analisis sentimen, klasifikasi teks, dan tugas pemahaman bahasa.

Dalam CAT, adapter terpisah dipelajari untuk setiap tugas ASC, memastikan model pra-latih tulang punggung tetap dibekukan untuk mencegah lupa bencana. Prosesnya melibatkan pengambilan kalimat input dan item aspek, menghasilkan status tersembunyi, dan fitur khusus label untuk setiap tugas. Untuk meningkatkan efisiensi klasifikasi, pengklasifikasi yang sadar label dikembangkan, mengintegrasikan pembelajaran kontrastif untuk menyelaraskan fitur input dan parameter pengklasifikasi dalam ruang yang sama, memanfaatkan semantik label. Pelatihan melibatkan meminimalkan fungsi kerugian gabungan yang terdiri dari varian entropi silang dan kerugian kontrastif yang sadar label.

Strategi inisialisasi adapter berkelanjutan, termasuk LastInit, RandomInit, dan SelectInit, memfasilitasi transfer pengetahuan dari tugas sebelumnya ke tugas baru. Terakhir, strategi pemungutan suara polaritas sentimen mayoritas diusulkan untuk pengujian, menghilangkan kebutuhan akan ID tugas dan memberikan prediksi polaritas sentimen akhir berdasarkan pemungutan suara di seluruh jalur penalaran dalam arsitektur adapter. CAT memastikan klasifikasi polaritas sentimen yang efisien dan akurat dalam tugas ASC melalui langkah-langkah ini sambil mendukung pembelajaran berkelanjutan dan transfer pengetahuan.

Evaluasi dan Hasil

Para penulis mengevaluasi kerangka kerja CAT melalui eksperimen yang membandingkannya dengan berbagai garis dasar. Mereka menggunakan 19 kumpulan data ASC, menilai akurasi dan metrik Makro-F1. Garis dasar mencakup pendekatan pembelajaran berkelanjutan dan non-berkelanjutan, dengan adaptasi untuk pembelajaran inkremental domain. Mereka merinci implementasi menggunakan BERTbase dan adapter. Hasil menunjukkan CAT mengungguli garis dasar dalam akurasi dan Makro-F1. Studi ablasi dan perbandingan efisiensi parameter lebih lanjut memvalidasi efektivitas CAT.

Kesimpulan

Sebagai kesimpulan, tim peneliti menyajikan kerangka kerja efisien parameter yang sederhana namun sangat efektif untuk klasifikasi sentimen aspek berkelanjutan dalam konteks pembelajaran inkremental domain, mencapai akurasi dan metrik Marco-F1 yang belum pernah terjadi sebelumnya. Namun, penerapan kerangka kerja di luar pengaturan pembelajaran inkremental domain masih perlu dieksplorasi. Aspek ini akan dibahas dalam upaya penelitian mendatang.