AI Umum

Pemikiran yang Diperkuat Penelusuran (RAT): Strategi Perintah AI yang Menyelaraskan Perintah Rantai Pemikiran (CoT) dan Pembangkitan yang Diperkuat Penelusuran (RAG) untuk Mengatasi Tugas Penalaran dan Pembangkitan Jangka Panjang yang Menantang

Pendahuluan

Model yang dapat berpikir, bernalar, dan menghasilkan keluaran yang mirip dengan kapasitas manusia untuk memecahkan masalah yang kompleks sangat penting. Model bahasa besar (LLM) berada di garis depan, dirancang untuk meniru pemahaman dan pengungkapan ide seperti manusia. Terlepas dari pencapaian yang luar biasa, model-model ini sering kali bergulat dengan tantangan untuk mempertahankan akurasi faktual pada tugas penalaran yang diperpanjang, yang mengarah pada apa yang dikenal sebagai halusinasi – menghasilkan informasi yang masuk akal tetapi secara faktual tidak benar. Fenomena ini sangat menonjol dalam skenario yang membutuhkan serangkaian langkah logis, menyoroti kesenjangan dalam kemampuan LLM untuk bernalar dengan presisi dan kesadaran konteks pada cakrawala yang lebih panjang.

Metode Pemikiran yang Diperkuat Penelusuran (RAT)

Upaya untuk menjembatani kesenjangan ini telah mengarahkan para peneliti untuk mengusulkan berbagai metodologi yang bertujuan untuk menyempurnakan proses penalaran LLM. Pendekatan sebelumnya telah mengeksplorasi integrasi penelusuran informasi eksternal dengan konten yang dihasilkan model, mencoba untuk menguatkan keluaran model dalam akurasi faktual. Namun, metode ini biasanya gagal dalam menyempurnakan proses penalaran secara dinamis, sering kali menghasilkan hasil yang, meskipun membaik, masih perlu meningkatkan tingkat pemahaman dan akurasi kontekstual yang diinginkan.

Peneliti dari Universitas Peking, Universitas California Los Angeles, dan Institut Inteligensi Buatan Umum Beijing mengusulkan metode Pemikiran yang Diperkuat Penelusuran (RAT) yang secara langsung merespons untuk mempertahankan akurasi faktual dalam LLM. RAT adalah pendekatan baru yang menekankan revisi iteratif dari pemikiran yang dihasilkan model. RAT secara efektif mengurangi masalah halusinasi dengan memanfaatkan informasi eksternal yang relevan tidak hanya untuk kueri awal tetapi juga untuk konteks yang berkembang dari proses penalaran model. Hal ini dicapai dengan merevisi setiap langkah dari rantai pemikiran yang dihasilkan model dengan informasi terkait yang diambil dari basis data yang luas, memastikan bahwa setiap langkah penalaran didasarkan pada akurasi dan relevansi.

Aplikasi dan Manfaat RAT

Keserbagunaan metode RAT unggul dalam tugas pembangkitan jangka panjang, mulai dari menghasilkan kode kompleks hingga memecahkan masalah matematika yang rumit, menyusun narasi kreatif, dan fungsi perencanaan dalam lingkungan simulasi. RAT secara konsisten meningkatkan kinerja LLM, yang diukur dalam peningkatan kinerja yang signifikan. Misalnya, hal ini telah menyebabkan peningkatan rata-rata 13,63% dalam skor peringkat untuk tugas pembuatan kode dan peningkatan nyata dalam penalaran matematika dengan peningkatan 16,96% dalam skor peringkat, 19,2% dalam skor peringkat penulisan kreatif, dan 42,78% yang signifikan dalam tugas perencanaan tugas yang diwujudkan. Prestasi ini menggarisbawahi kemanjuran RAT dan potensinya sebagai solusi yang dapat diterapkan secara universal untuk meningkatkan kemampuan penalaran LLM.

Kesimpulan

Implementasi RAT mengungkapkan potensi LLM untuk mencapai kemampuan bernalar dan menghasilkan respons yang lebih mirip manusia. Dengan menyempurnakan proses berpikir secara iteratif dengan informasi yang relevan secara kontekstual, metode ini memajukan batas dari apa yang dapat dicapai LLM, menetapkan standar baru untuk akurasi, keandalan, dan kesadaran konteks dalam konten yang dihasilkan AI. Kesimpulannya, metode Pemikiran yang Diperkuat Penelusuran (RAT) dapat disajikan dalam poin-poin berikut:

  • Menjembatani kesenjangan dalam kemampuan LLM untuk mempertahankan akurasi faktual pada tugas penalaran yang diperpanjang.
  • Mengurangi halusinasi dengan merevisi setiap langkah penalaran dengan informasi yang diambil yang relevan, memastikan keluaran yang sadar konteks.

  • Menunjukkan keserbagunaan di berbagai tugas, termasuk pembuatan kode, penalaran matematika, penulisan kreatif, dan perencanaan tugas, menunjukkan penerapan universal.
  • Menetapkan tolok ukur baru untuk kinerja, akurasi, dan keandalan keluaran LLM, membuka jalan bagi kemajuan masa depan dalam kemampuan penalaran AI.