AI Umum

Kerangka Kerja Pembelajaran Mesin Efisien untuk Model Menemukan Struktur Penalaran untuk Tugas Apa Pun

Pendahuluan

Model Bahasa Besar (LLM) telah merevolusi kecerdasan buatan (AI) dengan kemampuannya menghasilkan teks yang masuk akal, mengikuti perintah, dan memecahkan masalah dengan cara yang mirip dengan kognisi manusia. Namun, LLMs masih perlu meningkatkan keterampilan penalaran dan pemecahan masalah.

Kerangka Kerja SELF-DISCOVER

Para peneliti dari USC dan Google telah mengembangkan kerangka kerja SELF-DISCOVER untuk meningkatkan kemampuan penalaran LLM. SELF-DISCOVER memungkinkan LLM secara mandiri mengidentifikasi dan menerapkan struktur penalaran bawaan yang paling sesuai untuk tugas tertentu, meningkatkan efisiensi dan efektivitas pemecahan masalah.

Proses Penemuan Mandiri

SELF-DISCOVER menggunakan proses penemuan mandiri di mana LLM memilih dan menggabungkan modul penalaran atomik (komponen dasar penalaran) ke dalam struktur logis yang koheren. Struktur ini kemudian memandu model melalui proses pemecahan masalah, meniru penalaran manusia.

Hasil

SELF-DISCOVER menunjukkan peningkatan kinerja yang signifikan pada berbagai tolok ukur penalaran yang menantang. Ini meningkatkan kinerja model seperti GPT-4 dan PaLM 2 hingga 32% dibandingkan metode Rantai Pemikiran (CoT) konvensional pada tugas BigBench-Hard, skenario penalaran agen yang mendasar, dan kumpulan soal matematika yang rumit (MATH).

Efisiensi

Selain meningkatkan kinerja, SELF-DISCOVER juga sangat efisien. Dibandingkan dengan pendekatan intensif inferensi seperti CoT-Self-Consistency, SELF-DISCOVER menunjukkan kinerja yang lebih tinggi dan efisiensi yang lebih baik, membutuhkan perhitungan inferensi 10-40 kali lebih sedikit.

Kesimpulan

SELF-DISCOVER adalah kemajuan signifikan dalam pengembangan LLM dengan kemampuan penalaran yang lebih kompleks dan mirip manusia. Ini memungkinkan model untuk menemukan dan menggunakan struktur penalaran khusus tugas secara mandiri, membuka jalan bagi pendekatan yang lebih efektif dan efisien untuk pemecahan masalah yang kompleks.