• AI Umum

    Bias Sistemik dalam Model Bahasa AI

    Pendahuluan Peneliti dari Stanford Law School telah mengungkap bias dalam model bahasa besar (LLM) canggih, seperti GPT-4, terutama terkait ras dan gender. Bias ini berpotensi membahayakan, terutama saat memberikan saran dalam berbagai skenario, seperti negosiasi pembelian mobil atau prediksi hasil pemilu. Metodologi Audit Untuk mengatasi bias yang sulit diatasi dalam LLM, peneliti mengusulkan desain audit yang secara langsung memberikan skenario yang melibatkan individu bernama kepada LLM, dengan memvariasikan nama untuk menilai bias berdasarkan asosiasi ras dan gender. Hasil Hasil penelitian menunjukkan bias sistemik dalam keluaran LLM. Nama yang sangat terkait dengan etnis minoritas dan perempuan secara konsisten memiliki konsekuensi negatif…

  • AI Umum

    TOXCL: Kerangka Kecerdasan Buatan Terpadu untuk Mendeteksi dan Menjelaskan Ujaran Beracun Implisit

    Di media sosial, ujaran beracun dapat menyebar dengan cepat, menargetkan individu dan kelompok yang terpinggirkan. Meskipun ujaran kebencian yang eksplisit relatif mudah ditandai, ujaran beracun implisit yang mengandalkan stereotip dan bahasa berkode daripada penghinaan langsung merupakan tantangan yang lebih sulit. Bagaimana kita melatih sistem AI untuk tidak hanya mendeteksi ujaran beracun yang terselubung ini, tetapi juga menjelaskan mengapa ujaran tersebut berbahaya? Kerangka TOXCL Para peneliti di Nanyang Technological University, Singapura, National University of Singapore, dan Institute for Infocomm Research telah mengatasi masalah ini secara langsung dengan kerangka kerja baru yang disebut ToXCL, yang gambaran umumnya ditunjukkan pada Gambar 2. Tidak…

  • AI Umum

    AllHands: Kerangka Kerja Pembelajaran Mesin untuk Analisis Umpan Balik Skala Besar dengan Antarmuka Bahasa Alami

    Di era digital saat ini, pengembang perangkat lunak dan tim produk dibanjiri umpan balik pengguna dari berbagai saluran – ulasan aplikasi, posting forum, komentar media sosial, dan banyak lagi. Kekayaan umpan balik verbatim ini memegang kunci untuk memahami pengalaman pengguna, mengidentifikasi titik kesulitan, dan mengungkap peluang untuk perbaikan. Namun, memilah ribuan ulasan berbasis teks di berbagai platform dan bahasa bisa sangat melelahkan dan memakan waktu, sering kali meninggalkan wawasan berharga yang terkubur di bawah banyaknya data. AllHands: Kerangka Kerja Analisis Umpan Balik yang Inovatif AllHands, kerangka kerja analitik terobosan yang dikembangkan oleh para peneliti dari Microsoft, ZJU-UIUC Institute, dan National…

  • AI Umum

    DBRX: Inovasi AI Terbaru Databricks! Pengubah Permainan atau Sekadar Pemain Baru di Open LLM?

    Pengantar Dalam bidang kecerdasan buatan (AI) yang berkembang pesat, peluncuran DBRX dari Databricks menandai tonggak sejarah yang signifikan. Dengan investasi yang mencengangkan sebesar $10 juta, Databricks telah memperkenalkan model AI generatif sumber terbuka yang dirancang untuk menyaingi kemampuan model terdepan saat ini di industri, termasuk seri GPT OpenAI dan Gemini Google. Fitur Inovatif DBRX Model DBRX, meskipun tidak mengungguli GPT-4 OpenAI dalam hal kekuatan komputasi, menghadirkan tantangan yang tangguh bagi alternatif sumber terbuka yang ada dan memposisikan dirinya sebagai solusi yang hemat biaya dan efisien dalam lanskap AI generatif. Inovasi DBRX terletak pada arsitektur dan metodologi pelatihannya. Model ini memiliki…

  • AI Umum

    Inggris Raya Merayakan Startup dengan Patung Sementara di New York City

    Pendahuluan Inggris Raya, yang dikenal dengan ekosistem teknologinya yang berkembang pesat, merayakan kesuksesan startup-nya dengan patung sementara yang unik di New York City. Patung yang Selalu Berubah Patung hologram 3D ini menampilkan beberapa pendiri dan CEO unicorn terkemuka di Inggris. Unicorn adalah perusahaan rintisan yang bernilai lebih dari $1 miliar. Patung ini menyoroti kekuatan Inggris sebagai tujuan investasi teknologi terbesar ketiga di dunia dan rumah bagi lebih dari 160 perusahaan unicorn yang mengesankan. Ekosistem Teknologi yang Unggul Inggris Raya adalah pusat inovasi dan merupakan negara ketiga di dunia yang memiliki sektor teknologinya senilai lebih dari $1 triliun, bersama dengan Amerika…

  • AI Umum

    Model Bahasa Kode Dasar Tujuan Umum: Stable Code dari Stability AI

    Pendahuluan Pembelajaran mesin memiliki aplikasi ikonik dalam bahasa pemrograman, mulai dari pemahaman kode hingga representasi atau penyelesaian kode. Pekerjaan sebelumnya difokuskan pada pemanfaatan struktur semantik mendasar dari bahasa pemrograman seperti Code2Vec, Code2Seq, dan Graph Representation Learning for Code. Arsitektur di atas dibuat khusus untuk struktur asli Abstract Syntax Trees (AST) / Data Flow Graphs (DFG). Mereka memiliki batasan yang signifikan: mereka hanya dapat diterapkan untuk tugas yang melibatkan kode yang dapat dieksekusi sepenuhnya. Penelitian selanjutnya menunjukkan bagaimana model berbasis transformator dapat digunakan seperti bahasa alami untuk kode pada tingkat leksikal (teks). Sejak itu, model bahasa telah banyak digunakan untuk memodelkan…

  • AI Umum

    Transfer Pembelajaran Hemat Privasi dengan Enkripsi Homomorfik

    Pendahuluan Privasi data menjadi perhatian utama di dunia saat ini, dengan banyak negara memberlakukan undang-undang seperti Peraturan Perlindungan Data Umum (GDPR) UE untuk melindungi informasi pribadi. Dalam bidang pembelajaran mesin, masalah utama muncul ketika klien ingin memanfaatkan model yang telah dilatih sebelumnya dengan mentransfernya ke data mereka. Berbagi fitur data yang diekstrak dengan penyedia model berpotensi mengekspos informasi klien yang sensitif melalui serangan inversi fitur. Pendekatan Sebelumnya Pendekatan sebelumnya untuk transfer pembelajaran yang menjaga privasi bergantung pada teknik seperti komputasi multi-pihak yang aman (SMPC), privasi diferensial (DP), dan enkripsi homomorfik (HE). Sementara SMPC membutuhkan overhead komunikasi yang signifikan dan DP…

  • AI Umum

    Asisten AI dengan Memori Jangka Panjang

    Asisten yang didukung kecerdasan buatan (AI) dengan cepat merambah ke setiap aspek kehidupan kita, dari rumah dan kantor hingga ponsel. Namun, kemampuan memori jangka panjang asisten AI saat ini perlu ditingkatkan. Mereka kurang individualisasi dan pengulangan dalam hubungan mereka karena mereka kesulitan mengingat diskusi sebelumnya. Zep: Membawa Memori Jangka Panjang ke Asisten AI Zep, sebuah perusahaan rintisan AI yang inovatif, telah merevolusi bidang kecerdasan buatan dengan asisten AI yang unik. Tidak seperti yang lain, asisten AI Zep memiliki memori jangka panjang, yang meningkatkan kemampuannya dan mengubah interaksi kita dengan asisten AI. Teknologi inovatif ini memungkinkan asisten AI Zep untuk mengingat…

  • AI Umum

    Penyesuaian Adapter Berkelanjutan (CAT): Kerangka Pembelajaran Mesin Efisien Parameter yang Menghindari Lupa Bencana dan Memungkinkan Transfer Pengetahuan dari Tugas ASC yang Dipelajari ke Tugas ASC Baru

    Pendahuluan Klasifikasi Sentimen Aspek (ASC) adalah tugas penting yang bertujuan untuk membedakan polaritas sentimen dalam domain tertentu, seperti ulasan produk, di mana sentimen terhadap aspek tertentu perlu diidentifikasi. Pembelajaran Berkelanjutan (CL) menimbulkan tantangan yang signifikan bagi model ASC karena Lupa Bencana (CF), di mana mempelajari tugas baru menyebabkan hilangnya pengetahuan yang diperoleh sebelumnya. Karena model ASC harus beradaptasi dengan distribusi data yang berkembang di berbagai domain, mencegah CF menjadi sangat penting. Metode yang Ada dan Batasannya Ketika jumlah tugas meningkat, teknik tradisional sering kali mengharuskan penyimpanan titik pemeriksaan model yang berbeda untuk setiap tugas, yang menjadi tidak layak. Metode baru…

  • AI Umum

    Peningkatan Jaringan Saraf Graf untuk Graf Heterofilik: Peneliti Universitas McGill Memperkenalkan Jaringan Perhatian Graf Terarah (DGAT)

    Pengantar Jaringan saraf graf (GNN) telah merevolusi cara peneliti menganalisis dan mempelajari data yang terstruktur dalam jaringan kompleks. Model-model ini menangkap hubungan rumit yang melekat dalam graf, yang ada di mana-mana dalam jaringan sosial, struktur molekul, dan jaringan komunikasi, untuk menyebutkan beberapa area. Inti dari keberhasilan mereka adalah kemampuan untuk memproses dan mempelajari data graf secara efektif, yang pada dasarnya non-Euclidean. Tantangan GAT dalam Graf Heterofilik Di antara berbagai arsitektur GNN, Jaringan Perhatian Graf (GAT) menonjol karena penggunaan mekanisme perhatian yang inovatif. Mekanisme ini memberikan tingkat kepentingan yang bervariasi pada simpul tetangga, memungkinkan model untuk fokus pada informasi yang lebih…