AI Umum

Analisis Komprehensif DeepMind dan UCL tentang Penalaran Multi-Hop Laten dalam Model Bahasa Besar

Pendahuluan

Peneliti dari Google DeepMind dan University College London telah meneliti kemampuan Model Bahasa Besar (LLM) dalam melakukan penalaran multi-hop laten. Studi ini mengeksplorasi apakah LLM dapat menavigasi pengetahuan implisit mereka untuk menghasilkan respons yang koheren saat dihadapkan dengan perintah kompleks yang memerlukan koneksi informasi yang berbeda.

Penalaran Multi-Hop

Penalaran multi-hop mengharuskan entitas untuk mengambil informasi yang relevan dan menghubungkannya secara berurutan untuk memecahkan masalah atau menjawab pertanyaan. Studi ini mengevaluasi proses ini dengan memeriksa respons LLM terhadap perintah yang dirancang dengan rumit yang membutuhkan penjembatan dua fakta terpisah untuk menghasilkan jawaban yang benar.

Metodologi

Penelitian ini mengukur kemampuan LLM untuk mengingat dan menerapkan informasi spesifik (entitas jembatan) saat menghadapi perintah tidak langsung. Metodologi ini memberikan cara baru untuk mengukur kemampuan penalaran lanjutan ini.

Eksperimen dan Hasil

Eksperimen yang melibatkan model dengan ukuran berbeda mengungkapkan bahwa LLM dapat melakukan tugas kognitif yang kompleks ini. Metrik kinerja menunjukkan bahwa penalaran multi-hop laten diamati, meskipun bervariasi tergantung konteks.

Model yang lebih besar menunjukkan kemampuan yang lebih baik dalam langkah awal penalaran tetapi tidak menunjukkan kemajuan yang sama pada langkah selanjutnya. Studi ini menemukan bukti kuat penalaran multi-hop laten untuk jenis perintah tertentu, dengan jalur penalaran yang digunakan dalam lebih dari 80% kasus untuk jenis komposisi fakta tertentu.

Namun, secara rata-rata, bukti untuk langkah kedua dan traversal multi-hop penuh hanya sedang, menunjukkan potensi area untuk pengembangan di masa mendatang.

Kesimpulan

Penelitian ini menyimpulkan bahwa LLM menunjukkan potensi dalam penalaran multi-hop laten, tetapi kemampuannya sangat dipengaruhi oleh konteks dan tantangan khusus yang disajikan oleh perintah. Tim peneliti mengusulkan kemajuan dalam arsitektur LLM, paradigma pelatihan, dan teknik representasi pengetahuan untuk meningkatkan kemampuan penalaran model ini.

Studi ini memberikan wawasan berharga tentang mekanisme operasional LLM dan membuka jalan bagi penelitian di masa mendatang untuk mengembangkan sistem AI dengan kemampuan kognitif yang canggih yang meniru penalaran dan pemecahan masalah manusia.