AI Umum

Dampak Kompresi Model pada Kekokohan Subgrup dalam Model Bahasa BERT

Model bahasa besar (LLM) memiliki tuntutan komputasi yang tinggi, sehingga menghambat adopsi mereka di berbagai sektor. Hal ini mengalihkan perhatian ke teknik kompresi yang dirancang untuk mengurangi ukuran model dan kebutuhan komputasi tanpa mengorbankan kinerja secara signifikan. Peralihan ini sangat penting dalam Pemrosesan Bahasa Alami (NLP), memfasilitasi aplikasi dari klasifikasi dokumen hingga agen percakapan tingkat lanjut.

Kekokohan Subgrup dalam Model Terkompresi

Kekhawatiran yang mendesak dalam transisi ini adalah memastikan model terkompresi mempertahankan kekokohan terhadap subgrup minoritas dalam kumpulan data yang ditentukan oleh label dan atribut tertentu.

Metode Kompresi

Penelitian sebelumnya berfokus pada Distilasi Pengetahuan, Pemangkasan, Kuantisasi, dan Transfer Kosakata, yang bertujuan untuk mempertahankan esensi model asli dalam ukuran yang jauh lebih kecil. Upaya serupa telah dilakukan untuk mengeksplorasi efek kompresi model pada kelas atau atribut dalam gambar, seperti kelas yang tidak seimbang dan atribut sensitif. Pendekatan ini telah menunjukkan potensi dalam mempertahankan metrik kinerja secara keseluruhan; namun, dampaknya pada metrik kekokohan subgrup yang bernuansa masih perlu dieksplorasi.

Studi Komprehensif

Tim peneliti dari University of Sussex, BCAM Severo Ochoa Strategic Lab on Trustworthy Machine Learning, Monash University, dan expert.ai telah mengusulkan penyelidikan komprehensif tentang efek kompresi model pada kekokohan subgrup model bahasa BERT. Studi ini menggunakan kumpulan data MultiNLI, CivilComments, dan SCOTUS untuk mengeksplorasi 18 metode kompresi yang berbeda, termasuk distilasi pengetahuan, pemangkasan, kuantisasi, dan transfer kosakata.

Metodologi

Metodologi yang digunakan dalam studi ini melibatkan pelatihan setiap model BERT terkompresi menggunakan Minimalisasi Risiko Empiris (ERM) dengan lima inisialisasi berbeda. Tujuannya adalah untuk mengukur efektivitas model melalui metrik seperti akurasi rata-rata, akurasi kelompok terburuk (WGA), dan ukuran model secara keseluruhan.

Hasil

Temuan menyoroti perbedaan yang signifikan dalam kinerja model di berbagai teknik kompresi. Misalnya, dalam kumpulan data MultiNLI, model seperti TinyBERT6 mengungguli model dasar BERTBase, menunjukkan akurasi rata-rata 85,26% dengan akurasi kelompok terburuk (WGA) 72,74%. Sebaliknya, ketika diterapkan pada kumpulan data SCOTUS, penurunan kinerja yang mencolok diamati, dengan WGA beberapa model turun hingga 0%, menunjukkan ambang batas kritis kapasitas model untuk mengelola kekokohan subgrup secara efektif.

Kesimpulan

Studi ini menyoroti dampak bernuansa dari teknik kompresi model pada kekokohan model BERT terhadap subgrup minoritas di beberapa kumpulan data. Analisis menyoroti bahwa metode kompresi dapat meningkatkan kinerja model bahasa pada subgrup minoritas, tetapi efektivitas ini dapat bervariasi tergantung pada kumpulan data dan inisialisasi bobot setelah kompresi. Keterbatasan studi ini termasuk fokus pada kumpulan data bahasa Inggris dan tidak mempertimbangkan kombinasi metode kompresi.