AI Media

Peningkatan Diffusion Plugin Tingkatkan Kemampuan Generasi Gambar AI

Ingin meningkatkan generasi gambar AI Anda dengan menggunakan model lama? Para peneliti telah menemukan cara untuk meningkatkan plugin difusi lama agar kompatibel dengan model generasi terkini seperti Stable Diffusion XL tanpa perlu pelatihan ulang.

Alat yang dinamakan X-Adapter ini dirancang untuk mengendalikan model yang telah ditingkatkan dengan pasangan data teks-gambar baru – secara universal meningkatkan plugin, membuatnya langsung kompatibel dengan model yang telah ditingkatkan.

Alat ini secara efektif membuat salinan dari model lama, mempertahankan konektor untuk berbagai plugin dan menambahkan lapisan pemetaan yang dapat dilatih yang menjembatani dekoder dari model versi yang berbeda, memungkinkan pemetaan ulang fitur. Fitur yang telah dipetakan ulang kemudian digunakan sebagai panduan untuk model yang ditingkatkan.

Ini seperti memainkan video game lama di konsol baru – meningkatkan grafis (atau dalam hal ini gambar) sambil mempertahankan aspek inti dari sistem asli. Sebagai contoh, kualitas dasar Stable Diffusion 1.5 dapat dipertahankan sambil tetap memanfaatkan kekuatan Stable Diffusion XL.

Tim di balik X-Adapter berasal dari lab AI raksasa teknologi China, Tencent, Show Lab di National University of Singapore, dan Fudan University di China. Mereka bereksperimen dengan plugin seperti ControlNet dan LoRA pada Stable Diffusion 1.5, dan kemudian, menggunakan X-Adapter, meningkatkannya agar bisa bekerja dengan Stable Diffusion XL.

Para pencipta X-Adapter mengatakan bahwa konsep tersebut dapat “memfasilitasi aplikasi yang lebih luas dalam model difusi fondasi yang telah ditingkatkan.”

Mempertahankan model asli akan memungkinkan pengembang dan insinyur untuk mempertahankan investasi dalam sistem lama. Ini juga memungkinkan peneliti untuk membandingkan dan membedakan model lama dan baru secara langsung. Dalam hal kasus penggunaan, pemasar dapat menggunakan X-Adapter untuk menggabungkan karakteristik unik dari berbagai model untuk menciptakan visual yang disesuaikan.

Ada beberapa masalah dengan X-Adapter. Makalah yang menguraikannya menyarankan bahwa beberapa plugin gagal mempertahankan identitas konsep yang dipersonalisasi. Peneliti mengatakan hal ini terjadi karena plugin kustom “bekerja pada enkoder teks daripada konsep ruang fitur yang tidak langsung disuntikkan ke dalam model yang ditingkatkan selain difusi sebagai panduan karena plugin kustom.”