AI Umum

Bias Sistemik dalam Model Bahasa AI

Pendahuluan

Peneliti dari Stanford Law School telah mengungkap bias dalam model bahasa besar (LLM) canggih, seperti GPT-4, terutama terkait ras dan gender. Bias ini berpotensi membahayakan, terutama saat memberikan saran dalam berbagai skenario, seperti negosiasi pembelian mobil atau prediksi hasil pemilu.

Metodologi Audit

Untuk mengatasi bias yang sulit diatasi dalam LLM, peneliti mengusulkan desain audit yang secara langsung memberikan skenario yang melibatkan individu bernama kepada LLM, dengan memvariasikan nama untuk menilai bias berdasarkan asosiasi ras dan gender.

Hasil

Hasil penelitian menunjukkan bias sistemik dalam keluaran LLM. Nama yang sangat terkait dengan etnis minoritas dan perempuan secara konsisten memiliki konsekuensi negatif di berbagai konteks. Konteks kualitatif memiliki efek beragam pada bias, sementara jangkar numerik secara efektif menghilangkan perbedaan dalam banyak situasi.

Bias Interseksional dan Antar-LLM

Penelitian ini juga menyelidiki bias interseksional, menunjukkan bahwa perempuan kulit hitam sangat dirugikan. Selain itu, bias yang serupa ditemukan di antara berbagai LLM, menunjukkan prevalensi bias dalam model bahasa canggih.

Kesimpulan

Penelitian ini menyoroti bias yang meluas dalam LLM canggih, terutama terkait kesenjangan ras dan gender. Desain audit yang diusulkan memberikan metode untuk mengidentifikasi dan mengukur bias ini, menekankan pentingnya melakukan audit pada tahap penerapan dan implementasi LLM. Sementara konteks kualitatif mungkin tidak selalu mengurangi bias, jangkar numerik menawarkan strategi yang menjanjikan untuk pengurangan bias.