Pendahuluan Pembelajaran terfederasi (FL) menghadapi tantangan dalam menangani heterogenitas data dan model, yang muncul ketika perangkat memiliki kemampuan dan distribusi data yang berbeda. FedP3: Solusi Komprehensif Peneliti dari Sony AI dan KAUST mengusulkan FedP3, kerangka kerja komprehensif untuk mengatasi heterogenitas model dalam FL. FedP3 mengintegrasikan: Personalisasi: Membuat model unik untuk setiap klien berdasarkan kendala spesifik mereka. Pemangkasan Ganda: Mengoptimalkan ukuran dan efisiensi model melalui pemangkasan global (di sisi server) dan pemangkasan lokal (di sisi klien). Mekanisme Pelestarian Privasi: Melindungi data klien yang sensitif dengan meminimalkan data yang dibagikan ke server dan menggunakan privasi diferensial. Evaluasi dan Hasil Studi eksperimental menunjukkan…

Di era digital, kebutuhan untuk memproses dan memahami konten daring secara efisien dan akurat menjadi semakin penting, terutama untuk sistem pemrosesan bahasa. Sistem ini memerlukan input dalam format yang mudah dianalisis dan dipahami, tetapi mengekstrak konten dari halaman web sering kali menghasilkan data yang berantakan dan kompleks. Hal ini menjadi tantangan bagi pengembang dan pengguna model pembelajaran bahasa yang mencari konten yang disederhanakan untuk performa yang lebih baik. Secara tradisional, alat telah dikembangkan untuk membantu proses ini dengan menyederhanakan ekstraksi konten web. Alat-alat ini sering memformat ulang data menjadi format yang lebih bersih dan mudah dicerna yang dapat langsung digunakan…

Pengenalan SAP Labs France, anak perusahaan SAP, menciptakan Joule, asisten AI generatif untuk meningkatkan produktivitas perusahaan. Joule, kopilot bahasa alami, akan hadir di aplikasi rantai pasokan, pengadaan, pengalaman pelanggan, dan Platform Teknologi Bisnis SAP. Fokus Joule Joule berfokus pada saran yang disesuaikan dan relevan. Ia memahami bahasa normal dan memberikan dukungan secara real-time. Joule dengan cepat mengurutkan dan mengontekstualisasikan data dari berbagai sistem untuk mengungkap wawasan yang unggul. Pendekatan SAP terhadap AI Bisnis Pendekatan SAP terhadap AI Bisnis adalah memberikan pelanggan AI yang paling relevan, andal, dan bertanggung jawab. Melalui jalur interaktif, pengunjung akan memiliki kesempatan untuk mendalami beberapa aplikasi…

Pendahuluan Transformer telah merevolusi pembelajaran mendalam, tetapi kompleksitas perhatian kuadratik membatasi kemampuan mereka untuk memproses masukan yang sangat panjang. Terlepas dari keefektifannya, mereka memiliki kelemahan seperti melupakan informasi di luar jendela perhatian dan kesulitan dalam pemrosesan konteks panjang. Upaya untuk mengatasi hal ini termasuk perhatian jendela geser dan aproksimasi jarang atau linier, tetapi sering kali harus mengejar ketinggalan dalam skala besar. TransformerFAM Terinspirasi oleh ilmu saraf, khususnya hubungan antara perhatian dan memori kerja, ada solusi yang diusulkan: menggabungkan perhatian ke representasi latennya melalui loop umpan balik dalam blok Transformer, yang berpotensi mengarah pada munculnya memori kerja di Transformer. Peneliti Google…

Pendahuluan Model bahasa besar (LLM) banyak digunakan di berbagai industri, tidak hanya terbatas pada tugas bahasa dasar. Model ini digunakan di sektor-sektor seperti teknologi, kesehatan, keuangan, dan pendidikan, dan dapat mengubah alur kerja yang stabil di sektor-sektor penting ini. Metode yang disebut Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF) digunakan untuk membuat LLM aman, dapat dipercaya, dan menunjukkan kualitas seperti manusia. RLHF menjadi populer karena kemampuannya untuk memecahkan masalah Pembelajaran Penguatan (RL) seperti simulasi gerak robotik dan bermain game Atari dengan memanfaatkan umpan balik manusia tentang preferensi pada perilaku yang ditunjukkan. Metode ini sering digunakan untuk menyempurnakan LLM menggunakan umpan…

Pendahuluan Beberapa inisiatif baru sedang dikembangkan untuk Google Home, platform rumah pintar milik perusahaan tersebut. Salah satu yang paling penting adalah penambahan mode offline. Implementasi Google Home saat ini, seperti yang dijelaskan oleh Android Authority, melibatkan perangkat yang terlebih dahulu mengirimkan perintah melalui server perusahaan sebelum memengaruhi jaringan Anda. Hal ini dapat membuat pemilik rumah frustrasi ketika internet mereka mati karena mereka tidak dapat mengirim permintaan apa pun. Mode offline akan menyelesaikan masalah ini secara langsung dengan memungkinkan kontrol di tingkat lokal. Mungkin akan lebih bijaksana bagi tim untuk meluangkan waktu memperbaiki celah, mengingat Wyze mengalami (sekali lagi) pelanggaran keamanan…

Dalam perlombaan menciptakan model AI yang lebih efisien dan canggih, Zyphra telah mengungkap terobosan signifikan dengan model Zamba-7B yang baru. Model ringkas berparameter 7 miliar ini tidak hanya bersaing dengan model yang lebih besar dan intensif sumber daya, tetapi juga memperkenalkan pendekatan arsitektur baru yang meningkatkan kinerja dan efisiensi. Desain Inovatif Model Zamba-7B adalah pencapaian luar biasa dalam pembelajaran mesin. Model ini memanfaatkan struktur inovatif yang dikenal sebagai “Mamba/Attention Hybrid” yang dikembangkan oleh para ahli di Zyphra. Struktur unik ini menggabungkan efisiensi blok Mamba dengan lapisan perhatian bersama global, yang secara signifikan meningkatkan kemampuan model untuk belajar dari ketergantungan data…

Pendahuluan Pembelajaran Penguatan (RL) terus berkembang seiring dengan eksplorasi para peneliti untuk menyempurnakan algoritma yang belajar dari umpan balik manusia. Domain algoritma pembelajaran ini menghadapi tantangan dalam mendefinisikan dan mengoptimalkan fungsi hadiah yang penting untuk melatih model guna melakukan berbagai tugas mulai dari bermain game hingga pemrosesan bahasa. Masalah yang Dihadapi Masalah yang lazim dalam bidang ini adalah penggunaan dataset preferensi manusia yang dikumpulkan sebelumnya secara tidak efisien, yang sering diabaikan dalam proses pelatihan RL. Secara tradisional, model-model ini dilatih dari awal, mengabaikan konten dataset yang kaya dan informatif. Kesenjangan ini menyebabkan inefisiensi dan kurangnya pemanfaatan pengetahuan yang berharga dan…

Pengantar Reka, perusahaan rintisan kecerdasan buatan yang berbasis di California, telah menetapkan standar baru dalam industri ini. Reka baru-baru ini meluncurkan produk tercanggihnya, Reka Core. Model canggih ini merupakan bukti komitmen Reka yang tak tergoyahkan terhadap inovasi dan keunggulan. Dengan kemampuan multifasetnya yang mencakup pemrosesan dan pemahaman teks, gambar, video, dan audio, Reka Core pasti akan meninggalkan kesan abadi di dunia AI. Model Bahasa Multimodal yang Mutakhir Reka Core adalah model bahasa canggih yang mengklaim sebagai model “kelas terdepan”, yang berarti memiliki kinerja dan keserbagunaan yang luar biasa. Core telah melampaui pendahulunya, Flash dan Edge, yang keduanya sudah dikenal dengan…

Pengantar Dalam media digital, kebutuhan akan kontrol yang presisi atas pembuatan gambar dan video telah mengarah pada pengembangan teknologi seperti ControlNets. Sistem ini memungkinkan manipulasi detail konten visual menggunakan kondisi seperti peta kedalaman, tepi canny, dan pose manusia. Namun, mengintegrasikan teknologi ini dengan model baru sering kali memerlukan sumber daya komputasi yang signifikan dan penyesuaian yang rumit karena ketidakcocokan dalam ruang fitur antara model yang berbeda. Tantangan utamanya terletak pada mengadaptasi ControlNets, yang dirancang untuk gambar statis, ke aplikasi video dinamis. Adaptasi ini sangat penting karena pembuatan video menuntut konsistensi spasial dan temporal, yang ditangani oleh ControlNets yang ada secara…