AI Umum

Deteksi Konten Berhak Cipta yang Dihasilkan LLM: Patronus AI Meluncurkan Solusi Pertama di Industri

Evaluasi Model LLM Menunjukkan Tingkat Konten Berhak Cipta yang Mengkhawatirkan

Patronus AI meluncurkan “CopyrightCatcher”, solusi pertama di industri untuk mendeteksi ketika Model Bahasa Besar (LLM) menghasilkan konten berhak cipta. CopyrightCatcher dapat mengungkap contoh-contoh di mana LLM menghasilkan reproduksi konten yang sama persis dari sumber teks seperti buku. Alat ini dapat menilai keluaran LLM apakah mengandung konten berhak cipta, dan menyoroti bagian spesifik dari keluaran LLM yang mengandung konten berhak cipta.

Penelitian Patronus AI Menunjukkan Tingkat Konten Berhak Cipta yang Mengkhawatirkan

Penelitian awal oleh Patronus AI menunjukkan bahwa LLM canggih menghasilkan konten berhak cipta pada tingkat yang mengkhawatirkan. Peneliti AI di Patronus AI mengembangkan set uji adversarial 100-pertanyaan untuk mempelajari seberapa sering model menghasilkan reproduksi yang sama persis. Setiap pertanyaan berisi kutipan teks atau meminta bagian pertama dari sebuah teks. Secara khusus:

  • GPT-4 OpenAI: menghasilkan konten berhak cipta pada 44% pertanyaan.
  • Mixtral-8x7B-Instruct-v0.1 Mistral: menghasilkan konten berhak cipta pada 22% pertanyaan.
  • Claude-2.1 Anthropic: menghasilkan konten berhak cipta pada 8% pertanyaan.
  • Llama-2-70b-chat Meta: menghasilkan konten berhak cipta pada 10% pertanyaan.

“Penggunaan LLM yang meluas telah memicu kekhawatiran hak cipta karena mereka dapat dengan jelas mereproduksi konten berhak cipta,” kata Anand Kannappan, CEO dan salah satu pendiri Patronus AI. “Meskipun para pemimpin industri seperti Microsoft, Anthropic AI, dan OpenAI menerapkan perlindungan, LLM masih dapat menghasilkan reproduksi yang sama persis dari karya berhak cipta, yang menyoroti kebutuhan berkelanjutan akan solusi yang kuat untuk mengurangi risiko pelanggaran hak cipta. Visibilitas ke dalam risiko model akan sangat penting mengingat kewajiban masih belum jelas.”

CopyrightCatcher: Solusi untuk Deteksi Konten Berhak Cipta

Sebagai bagian dari rilis ini, pelanggan sekarang dapat mengevaluasi sistem LLM mereka secara terukur menggunakan CopyrightCatcher pada platform Patronus AI. Perusahaan Fortune 500 saat ini menggunakan Patronus AI untuk mendeteksi halusinasi dan perilaku tak terduga lainnya dari LLM secara terukur.