AI Umum

Membuat AI Bahasa Menjadi Pakar Domain: Pendekatan RAFT

Pendahuluan

Model bahasa saat ini sangat cerdas sebagai generalis. Mereka dapat memberikan banyak fakta dan wawasan tentang sejarah, sains, atau peristiwa terkini. Namun, ketika menyangkut topik khusus dan khusus, bahkan otak AI yang paling hebat pun bisa menjadi sedikit kabur.

Kebutuhan akan Pengetahuan Domain

Bayangkan Anda seorang dokter yang mencoba mendapatkan bantuan untuk meneliti kondisi medis yang langka. Atau seorang pengacara yang mencari putusan tentang masalah hukum yang tidak jelas. Model bahasa biasa membutuhkan lebih banyak pengetahuan domain yang mendalam. Ini seperti meminta siswa berprestasi untuk mempertimbangkan fisika kuantum – mereka cerdas, tetapi tidak secerdas itu.

RAFT: Solusi Inovatif

Sebuah tim peneliti di UC Berkeley mengusulkan RAFT (Retrieval Augmented Fine Tuning), pendekatan baru yang cerdik yang dapat menjadi Batu Rosetta untuk menerjemahkan antara AI umum dan keahlian yang sangat spesifik. Ini adalah cara untuk mengisi model bahasa yang sangat mumpuni tetapi generalis dengan pengetahuan dan dokumentasi khusus.

Cara Kerja RAFT

Meskipun alat seperti GPT-3 memukau dengan kemampuan yang luas, kinerjanya menjadi goyah ketika diperlukan pengetahuan khusus domain. Metode tradisional seperti penambahan pengambilan memungkinkan model mereferensikan dokumen tetapi tidak mengoptimalkan untuk domain target. Penyetelan halus yang diawasi mengekspos mereka pada data domain tetapi tidak memiliki koneksi ke bukti yang dapat diambil.

RAFT menggabungkan yang terbaik dari kedua dunia melalui proses pelatihan baru yang meniru pengaturan “ujian buku terbuka”:

  1. Melatih pada pasangan pertanyaan-jawaban dari domain khusus.
  2. Mendapatkan petunjuk seperti ujian dengan campuran dokumen “oracle” yang relevan dan dokumen “pengalih perhatian” yang tidak relevan.
  3. Belajar menyaring semua itu, mengutip kutipan yang relevan, dan membangun penalaran “rantai pemikiran” multi-langkah.

Dengan menggunakan pengalih perhatian dan bukti bersumber, RAFT secara efektif melatih silang model bahasa dalam pemahaman domain dan keterampilan fokus.

Hasil yang Luar Biasa

Ketika dievaluasi pada pengkodean, biomedis, dan tolok ukur tanya jawab umum, RAFT menunjukkan peningkatan dramatis dibandingkan pendekatan penyetelan halus tradisional. Hasil evaluasi menunjukkan keunggulan RAFT yang jelas dibandingkan garis dasar yang ada di berbagai domain khusus.

Saat diuji pada kumpulan data seperti literatur biomedis PubMed, pertanyaan umum HotpotQA, dan tolok ukur pengkodean seperti HuggingFace dan TorchHub, RAFT secara konsisten mengungguli model bahasa standar dan metode penyetelan halus khusus domain.

Dibandingkan dengan model LLaMA2 dasar, RAFT menunjukkan peningkatan dramatis, meningkat hingga 35,25% pada HotpotQA dan 76,35% pada evaluasi pengkodean TorchHub. Ini secara signifikan mengungguli pendekatan penyetelan halus khusus domain juga, meningkatkan kinerja sebesar 30,87% pada HotpotQA dan 31,41% pada kumpulan data HuggingFace dibandingkan metode tersebut.

Bahkan dibandingkan dengan GPT-3.5 yang kuat, RAFT menunjukkan keunggulan yang jelas dalam memanfaatkan konteks yang diberikan dan pengetahuan domain untuk menyelesaikan pertanyaan khusus secara akurat. Hasilnya menyoroti efektivitas RAFT dalam mengilhami model bahasa dengan pemahaman materi pelajaran yang tepat di seluruh domain teknis.

Kesimpulan

Lebih dari sekadar kemajuan bertahap, RAFT mewakili perubahan paradigma dalam membuka penguasaan domain untuk AI bahasa. Kita berbicara tentang asisten digital dan chatbot yang dapat memandu Anda dengan ahli melalui segala hal mulai dari genetika hingga memasak gourmet.

Sementara model bahasa saat ini adalah generalis yang kuat, RAFT menawarkan jalan menuju spesialisasi AI yang sebenarnya dan keahlian materi pelajaran. Dikombinasikan dengan penalaran umum mereka yang ada, ini dapat membuka batas baru yang belum pernah terjadi sebelumnya di seluruh industri seperti perawatan kesehatan, hukum, sains, dan pengembangan perangkat lunak.

Dengan menjembatani kekuatan penalaran umum dan keahlian yang ditargetkan, RAFT membuka jalan menuju masa depan di mana AI bahasa melampaui menjadi “jack of all trades” untuk menjadi otoritas materi pelajaran yang sebenarnya. Ini adalah langkah penting dalam menciptakan kecerdasan buatan yang menyamai atau melampaui penguasaan manusia di setiap domain pengetahuan yang dapat dibayangkan.