Uncategorized

Deci Mengungkapkan DeciLM-7B: Lonjakan Kinerja Model Bahasa dan Efisiensi Biaya Inferensi

Deci, perusahaan pembelajaran mendalam yang memanfaatkan kecerdasan buatan untuk membangun kecerdasan buatan, baru-baru ini mengungkapkan tambahan terbaru dalam rangkaian model kecerdasan buatan generatif inovatifnya, DeciLM-7B, sebuah model bahasa besar dengan 7 miliar parameter. Membangun atas keberhasilan pendahulunya, DeciLM 6B, DeciLM 7B menetapkan standar baru dalam dunia model bahasa besar (LLM), mengungguli model open-source terkemuka seperti Llama2 7B dan Mistral 7B baik dalam hal akurasi maupun efisiensi.

DeciLM-7B menonjol berkat kinerja tak tertandinginya, melampaui model bahasa open-source hingga 13 miliar parameter dalam hal akurasi dan kecepatan dengan kebutuhan komputasi yang lebih rendah. Ini mencapai peningkatan throughput sebesar 1,83x dan 2,39x dibandingkan dengan Mistral 7B dan Llama 2 7B, masing-masing, yang berarti kecepatan pemrosesan yang signifikan lebih cepat dibandingkan dengan model-model pesaing. Desainnya yang kompak ideal untuk GPU yang ekonomis, menciptakan keseimbangan tak tertandingi antara harga terjangkau dan kinerja kelas atas.

Kinerja luar biasa dari DeciLM-7B dapat dipercepat lebih lanjut saat digunakan bersama dengan Infery-LLM, mesin inferensi tercepat di dunia, yang dirancang untuk memberikan throughput tinggi, laten rendah, dan inferensi yang ekonomis pada GPU yang tersedia secara luas. Duo kuat ini menetapkan standar baru dalam kinerja throughput, mencapai kecepatan 4,4 kali lebih besar dari Mistral 7B dengan vLLM tanpa mengorbankan kualitas. Memanfaatkan DeciLM-7B bersama dengan Infery-LLM memungkinkan tim secara drastis mengurangi biaya komputasi LLM mereka, sambil mendapatkan manfaat dari waktu inferensi yang lebih cepat. Integrasi ini memfasilitasi skalabilitas yang efisien dalam beban kerja Kecerdasan Buatan Generatif dan mendukung transisi ke solusi perangkat keras yang lebih ekonomis.

Sinergi ini memungkinkan pelayanan yang efisien kepada beberapa klien secara bersamaan tanpa biaya komputasi berlebihan atau masalah laten. Ini sangat penting, terutama dalam sektor-sektor seperti telekomunikasi, ritel online, dan layanan cloud, di mana kemampuan untuk merespons lonjakan pesanan pelanggan secara bersamaan dalam waktu nyata dapat secara signifikan meningkatkan pengalaman pengguna dan efisiensi operasional.

Dilisensikan di bawah Apache 2.0, DeciLM-7B tersedia untuk penggunaan dan implementasi di mana saja, termasuk konfigurasi lokal, memungkinkan tim untuk menyesuaikannya dengan aplikasi industri tertentu tanpa mengorbankan keamanan data atau privasi. Fleksibilitasnya memungkinkan tim untuk dengan mudah menyesuaikannya dengan kasus penggunaan unik di berbagai aplikasi bisnis, termasuk pembuatan konten, terjemahan, pemodelan percakapan, kategorisasi data, ringkasan, analisis sentimen, dan pengembangan chatbot, antara lain. Ketika disesuaikan dengan set data tertentu, DeciLM-7B dapat memberikan kualitas yang serupa dengan model-model yang jauh lebih besar seperti GPT 3.5 dengan biaya sekitar 97% lebih rendah dan kecepatan yang lebih baik.

“Dengan meningkatnya penggunaan Kecerdasan Buatan Generatif dalam berbagai sektor bisnis, ada permintaan yang meningkat untuk model yang tidak hanya memiliki kinerja tinggi tetapi juga efisien secara operasional,” kata Yonatan Geifman, CEO dan co-founder Deci. “Inovasi terbaru kami, DeciLM-7B, yang dikombinasikan dengan Infery-LLM, adalah perubahan game dalam hal ini. Ini dapat disesuaikan dengan berbagai pengaturan, termasuk solusi on-premise, dan efisiensi inferensi yang luar biasa membuat model bahasa besar berkualitas tinggi lebih mudah diakses oleh sejumlah besar pengguna.”

Kostumisasi yang efisien dan permintaan komputasi yang lebih rendah dari DeciLM-7B membuat teknologi kecerdasan buatan canggih lebih mudah diakses oleh bisnis dari berbagai ukuran, mendorong inovasi dan mendorong transformasi digital di berbagai sektor. Dengan DeciLM-7B, perusahaan sekarang dapat memanfaatkan potensi penuh kecerdasan buatan tanpa biaya atau kompleksitas yang mahal yang sebelumnya terkait dengan model bahasa kelas atas.

Pengenalan Deci AI terhadap DeciLM-7B membangun atas catatan suksesnya dalam model Kecerdasan Buatan Generatif yang inovatif dan efisien, termasuk DeciLM 6B, DeciCoder 1B, dan DeciDiffusion 1.0. Seperti model-modelnya yang lain, DeciLM 7B dihasilkan dengan mesin Automated Neural Architecture Construction (AutoNAC) canggih milik Deci, teknologi Neural Architecture Search (NAS) tercanggih di pasaran, dengan fokus pada efisiensi.