• AI Umum

    OpenFoundry: Platform AI Open Source untuk Pengembang

    Mengembangkan dan mengoptimalkan model AI membutuhkan banyak pekerjaan karena pengembang sering kali kesulitan mengidentifikasi model yang tepat untuk kebutuhan spesifik mereka. Mengembangkan solusi AI ini bisa jadi menantang dan memakan waktu untuk proyek open source. Banyak pengembang kesulitan mengatasi alat yang lebih ramah pengguna daripada yang mereka perlukan. OpenFoundry adalah platform kecerdasan buatan open source yang dapat membantu pengembang mengidentifikasi model optimal untuk kasus penggunaan mereka, membuat prototipe dan menyempurnakannya dengan cepat, dan bahkan menerapkannya dengan cepat ke cloud. Bayangkan Anda memiliki proyek open source dan Hugging Face, platform populer untuk solusi AI. Itulah pernyataan misi OpenFoundry. Tantangan dan Solusi…

  • AI Umum

    Cara Memprediksi Performa Model AI Anda Secara Tepat Sebelum Pelatihan Dimulai

    Pendahuluan Dalam model bahasa besar (LLM), lanskap data prapelatihan adalah perpaduan yang kaya dari berbagai sumber. Ini mencakup bahasa Inggris umum hingga bahasa yang kurang umum, termasuk percakapan kasual dan teks ilmiah, dan bahkan meluas ke modalitas seperti gambar dan pidato. Dalam perpaduan ini, data berinteraksi dengan cara yang kompleks, terkadang selaras dengan baik, menyimpang, dan terkadang bertentangan. Tantangannya terletak pada penyempurnaan proporsi perpaduan ini, memanfaatkan kekuatan setiap domain sambil meminimalkan potensi konflik yang melaluinya model yang dihasilkan memperoleh kemampuan yang ditingkatkan, sebuah bukti wawasan berharga yang diperoleh dari penggunaan dunia nyata yang ekstensif. Meskipun sulit untuk mengetahui campuran data…

  • AI Umum

    Skor Konsistensi Faktual: Alat AI untuk Mendeteksi Halusinasi Otomatis dalam Setiap Respons yang Dihasilkan

    Pendahuluan Di era di mana kecerdasan buatan generatif (GenAI) dengan cepat mengubah lanskap bisnis dan teknologi, momok misinformasi yang dihasilkan secara tidak sengaja oleh alat canggih ini membayangi. Menyadari kebutuhan penting akan keandalan dan kepercayaan dalam respons yang dihasilkan AI, Vectara telah memperkenalkan solusi inovatif: Skor Konsistensi Faktual (FCS), yang didukung oleh Model Evaluasi Halusinasi Hughes (HHEM) yang disempurnakan. Tantangan Halusinasi Saat bisnis semakin mengintegrasikan AI ke dalam operasinya, tantangan “halusinasi” menjadi perhatian yang signifikan. Halusinasi adalah kejadian di mana model bahasa menghasilkan informasi yang salah secara faktual atau tidak masuk akal. Ketidakakuratan ini, dengan tingkat prevalensi bervariasi antara 3%…

  • AI Umum

    Mora: Kerangka Kerja Multi-Agen Baru yang Memadukan Beberapa Agen AI Visual Canggih untuk Mereplikasi Pembuatan Video Generalis yang Ditunjukkan oleh Sora

    Pendahuluan Peneliti dari Lehigh University dan Microsoft memperkenalkan kerangka kerja multi-agen baru, Mora, untuk mengatasi tantangan memajukan teknologi pembuatan video. Meskipun dalam beberapa tahun terakhir, telah terjadi kemajuan signifikan dalam sintesis gambar dan teks, pembuatan video masih relatif belum dieksplorasi. Model yang ada kesulitan menghasilkan video berdurasi panjang yang melebihi 10 detik, membatasi kegunaan praktisnya. Model sumber tertutup seperti Sora oleh OpenAI menjadi penghalang inovasi dan replikasi dalam komunitas akademis. Tujuan Penelitian Makalah ini bertujuan untuk mereplikasi dan memperluas kemampuan Sora untuk berbagai tugas pembuatan video. Model seperti Pika dan Gen-2 menunjukkan kinerja yang menonjol, tetapi mereka memiliki keterbatasan dalam…

  • AI Umum

    Panduan Menguasai Kecerdasan Buatan

    Memulai Perjalanan AI Anda Kursus Komprehensif: Mulailah dengan kursus dasar yang memperkenalkan Anda pada luasnya AI. “AI for Everyone” oleh Andrew Ng di Coursera menawarkan titik masuk yang mudah diakses, sementara kursus “Machine Learning”nya membahas lebih dalam konsep ML. Untuk perspektif yang lebih luas, “Introduction to Artificial Intelligence” oleh Sebastian Thrun dan Peter Norvig di Udacity memberikan wawasan tentang berbagai aplikasi AI. Buku-Buku Mendalam: Lengkapi pembelajaran daring Anda dengan buku-buku mendalam. “Artificial Intelligence: A Modern Approach” oleh Stuart Russell dan Peter Norvig serta “Deep Learning” oleh Ian Goodfellow, Yoshua Bengio, dan Aaron Courville adalah bacaan wajib bagi siapa pun yang…

  • AI Umum

    Kerangka Kerja Pembelajaran Mesin Terpadu untuk Pembelajaran Berkelanjutan (CL)

    Pembelajaran Berkelanjutan (CL) CL berfokus pada perolehan pengetahuan dari distribusi data yang berubah secara dinamis. Teknik ini meniru skenario dunia nyata dan membantu meningkatkan kinerja model saat menemukan data baru sambil mempertahankan informasi sebelumnya. Tantangan Pembelajaran Berkelanjutan CL menghadapi tantangan yang disebut pelupaan bencana, di mana model melupakan atau menimpa pengetahuan sebelumnya saat mempelajari informasi baru. Metode untuk Mengatasi Pelupaan Bencana Peneliti telah memperkenalkan berbagai metode untuk mengatasi keterbatasan CL ini, seperti: Teknik berbasis Bayesian Solusi berbasis regularisasi Metodologi berorientasi pemutaran ulang memori Kerangka Kerja Terpadu untuk CL Dalam penelitian ini, para peneliti dari University of Maryland, College Park, dan…

  • AI Umum

    Dampak Kompresi Model pada Kekokohan Subgrup dalam Model Bahasa BERT

    Model bahasa besar (LLM) memiliki tuntutan komputasi yang tinggi, sehingga menghambat adopsi mereka di berbagai sektor. Hal ini mengalihkan perhatian ke teknik kompresi yang dirancang untuk mengurangi ukuran model dan kebutuhan komputasi tanpa mengorbankan kinerja secara signifikan. Peralihan ini sangat penting dalam Pemrosesan Bahasa Alami (NLP), memfasilitasi aplikasi dari klasifikasi dokumen hingga agen percakapan tingkat lanjut. Kekokohan Subgrup dalam Model Terkompresi Kekhawatiran yang mendesak dalam transisi ini adalah memastikan model terkompresi mempertahankan kekokohan terhadap subgrup minoritas dalam kumpulan data yang ditentukan oleh label dan atribut tertentu. Metode Kompresi Penelitian sebelumnya berfokus pada Distilasi Pengetahuan, Pemangkasan, Kuantisasi, dan Transfer Kosakata, yang…

  • AI Umum

    Peningkatan Model Bahasa OpenAI dengan Pelatihan Isi-di-Tengah: Jalan Menuju Kemampuan Isi yang Canggih

    Model bahasa berbasis transformer, seperti BERT dan T5, mahir dalam berbagai tugas tetapi kesulitan dengan pengisian—menghasilkan teks di lokasi tertentu sambil mempertimbangkan konteks sebelumnya dan sesudahnya. Meskipun model encoder-decoder dapat menangani sufiks, data pelatihan mereka biasanya mencakup wilayah isi yang lebih pendek daripada yang praktis. Namun, model berbasis decoder kausal, seperti GPT-3 dan penerusnya, unggul dalam pembuatan teks terbuka dan pembelajaran dalam konteks tanpa penyesuaian tugas khusus. Meskipun memiliki keterbatasan dalam pengisian, model-model ini banyak digunakan dalam aplikasi seperti bantuan pengkodean untuk tugas-tugas seperti pembuatan docstring atau pernyataan impor karena kesederhanaan dan efisiensinya. Peneliti OpenAI menunjukkan bahwa model bahasa autoregresif…

  • AI Umum

    Jamba: Model Bahasa Besar Hibrida SSM-Transformer Inovatif dari AI21 Labs

    Inovasi di Balik Jamba Jamba menggabungkan arsitektur Mamba dan Transformer untuk mengatasi keterbatasan masing-masing sistem sekaligus memanfaatkan kekuatannya. Tidak seperti model konvensional yang didasarkan pada arsitektur Transformer, seperti GPT, Gemini, dan Llama, Jamba menggunakan pendekatan hibrida. Jamba memiliki jendela konteks yang luar biasa sebesar 256K token, setara dengan sekitar 210 halaman teks, dan dapat memuat hingga 140K token pada satu GPU 80GB. Kemampuan ini jauh melampaui standar saat ini, seperti Llama 2 milik Meta yang hanya mengelola jendela konteks 32.000 token. Arsitektur hibrida Jamba menggabungkan lapisan Transformer, Mamba, dan campuran ahli (MoE), mengoptimalkan memori, throughput, dan kinerja. Model ini beroperasi…

  • AI Umum

    Penyesalan Agen LLM: Studi Kasus Pembelajaran dan Permainan Daring dari MIT dan University of Maryland

    Model Bahasa Besar (LLM) dan Pembuatan Keputusan LLM telah banyak digunakan untuk pembuatan keputusan (interaktif) melalui pengembangan model agen berbasis LLM. Dalam beberapa tahun terakhir, LLM telah menunjukkan keberhasilan luar biasa dalam AI yang diwujudkan, ilmu alam, dan aplikasi ilmu sosial. LLM juga menunjukkan potensi luar biasa dalam menyelesaikan berbagai permainan. Keberhasilan empiris yang menarik ini memerlukan pemeriksaan dan pemahaman yang cermat melalui lensa teoretis pembuatan keputusan. Penyesalan sebagai Metrik Kinerja Namun, kinerja agen LLM dalam pengambilan keputusan belum diselidiki secara menyeluruh melalui metrik kuantitatif, terutama dalam pengaturan multi-agen ketika mereka berinteraksi satu sama lain, skenario umum dalam aplikasi agen…