AI Umum

Transfer Pembelajaran Hemat Privasi dengan Enkripsi Homomorfik

Pendahuluan

Privasi data menjadi perhatian utama di dunia saat ini, dengan banyak negara memberlakukan undang-undang seperti Peraturan Perlindungan Data Umum (GDPR) UE untuk melindungi informasi pribadi. Dalam bidang pembelajaran mesin, masalah utama muncul ketika klien ingin memanfaatkan model yang telah dilatih sebelumnya dengan mentransfernya ke data mereka. Berbagi fitur data yang diekstrak dengan penyedia model berpotensi mengekspos informasi klien yang sensitif melalui serangan inversi fitur.

Pendekatan Sebelumnya

Pendekatan sebelumnya untuk transfer pembelajaran yang menjaga privasi bergantung pada teknik seperti komputasi multi-pihak yang aman (SMPC), privasi diferensial (DP), dan enkripsi homomorfik (HE). Sementara SMPC membutuhkan overhead komunikasi yang signifikan dan DP dapat mengurangi akurasi, metode berbasis HE telah menunjukkan janji tetapi mengalami tantangan komputasi.

HETAL

Sebuah tim peneliti telah mengembangkan HETAL, algoritma berbasis HE yang efisien (ditunjukkan pada Gambar 1) untuk transfer pembelajaran yang menjaga privasi. Metode mereka memungkinkan klien untuk mengenkripsi fitur data dan mengirimkannya ke server untuk penyesuaian tanpa mengorbankan privasi data.

Inti dari HETAL adalah proses yang dioptimalkan untuk perkalian matriks terenkripsi, operasi dominan dalam pelatihan jaringan saraf. Para peneliti mengusulkan algoritma baru, DiagABT dan DiagATB, yang secara signifikan mengurangi biaya komputasi dibandingkan dengan metode sebelumnya. Selain itu, HETAL memperkenalkan algoritma aproksimasi baru untuk fungsi softmax, komponen penting dalam jaringan saraf. Tidak seperti pendekatan sebelumnya dengan rentang aproksimasi terbatas, algoritma HETAL dapat menangani nilai input yang mencakup interval besar secara eksponensial, memungkinkan pelatihan yang akurat selama banyak epoch.

Evaluasi

Para peneliti menunjukkan efektivitas HETAL melalui eksperimen pada lima set data tolok ukur, termasuk MNIST, CIFAR-10, dan DermaMNIST (hasil ditunjukkan pada Tabel 1). Model terenkripsi mereka mencapai akurasi dalam 0,51% dari rekan-rekan mereka yang tidak terenkripsi sambil mempertahankan waktu proses yang praktis, seringkali di bawah satu jam.

Dampak

HETAL mengatasi tantangan penting dalam pembelajaran mesin yang menjaga privasi dengan memungkinkan transfer pembelajaran terenkripsi yang efisien. Metode yang diusulkan melindungi privasi data klien melalui enkripsi homomorfik sambil memungkinkan penyesuaian model di sisi server. Selain itu, algoritma perkalian matriks baru HETAL dan teknik aproksimasi softmax berpotensi menguntungkan aplikasi lain yang melibatkan jaringan saraf dan komputasi terenkripsi.

Meskipun mungkin ada keterbatasan, pekerjaan ini merupakan langkah signifikan menuju solusi praktis dan menjaga privasi untuk pembelajaran mesin sebagai layanan.