Aplikasi AI

Bertemu dengan ImageDream: Sebuah Model AI yang Menghasilkan Model 3D dari Gambar

Dari perusahaan induk TikTok, ImageDream menciptakan model 3D yang akurat dari gambar diam.

Peneliti AI dari perusahaan induk TikTok, ByteDance, telah mengembangkan model AI yang mampu menghasilkan model 3D yang mengesankan dari gambar.

Dikenal dengan nama ImageDream, model ini dapat menghasilkan difusi multi-tampilan objek dari setiap sudut pandang ketika menerima satu gambar sebagai input.

Sebagai contoh, misalkan Anda memasukkan gambar seekor bulldog yang mengenakan topi bajak laut hitam. Dalam hal ini, ImageDream akan menghasilkan beberapa tampilan objek dan kemudian menggunakan tampilan-tampilan tersebut untuk membuat model 3D.

Tim di belakang ImageDream berpendapat bahwa menggunakan gambar sebagai input untuk menghasilkan model 3D daripada teks “memungkinkan cara yang lebih intuitif dan langsung bagi pengguna untuk menyampaikan hasil yang diinginkan, terutama bagi mereka yang mungkin merasa sulit untuk mengungkapkan visi mereka secara tekstual.”

Model AI generasi 3D sudah ada jauh sebelum ImageDream. Tim ImageDream bahkan menggunakan situs web “temple” untuk salah satu model paling terkenal, yaitu Google DreamFusion, yang diungkapkan pada bulan Oktober lalu. OpenAI bahkan memiliki model AI generasi 3Dnya sendiri, Point-E, yang dapat menghasilkan bentuk 3D dari input teks.

Perusahaan induk TikTok, ByteDance, bahkan telah membangun model generasi 3D sebelum ImageDream: MVDream. Diterbitkan pada bulan Agustus, model difusi ini dapat menghasilkan gambaran 3D berkualitas tinggi dari input teks. Dibangun dalam kemitraan dengan University of California, San Diego, MVDream dapat disesuaikan untuk generasi 3D yang personal dengan menggunakan alat seperti DreamBooth3D.

Terkait: Model Generasi 3D AI, Aplikasi, dan Alat: Daftar Besar Namun, menurut tim yang membangun ImageDream, model terbaru ini memiliki keunggulan dibandingkan dengan sistem sebelumnya karena dapat menghasilkan objek dengan geometri yang benar dari gambar yang diberikan, “memungkinkan pengguna untuk memanfaatkan model generasi gambar yang telah dikembangkan dengan baik untuk penyejajaran gambar-teks yang lebih baik daripada model yang murni bergantung pada teks seperti MVDream.”

Dalam paper-nya, tertulis: “ImageDream melampaui model generator model 3D dari gambar tunggal tanpa shot terbaik (SoTA), seperti Magic123, dalam hal geometri dan kualitas tekstur.”

Seperti halnya kebanyakan model, ImageDream memiliki keterbatasan – termasuk masalah dengan batasan gambar. Sebagai contoh, ketika menyangkut detail-detail kecil, seperti di wajah avatar tubuh penuh, model ini kesulitan untuk menangkap nuansa.

Penggunaan AI untuk generasi 3D adalah konsep yang berkembang – namun kasus penggunaan dapat melibatkan model-model seperti ImageDream untuk menghasilkan aset untuk lingkungan VR atau AR atau permainan video. Di antara generasi contoh, ImageDream digunakan untuk membuat model-model untuk katana dan AK47 – objek-objek yang ditemukan dalam berbagai judul permainan video, serta karakter Pokemon, Pikachu, yang mengenakan topi.

Akses ImageDream

Anda dapat menjelajahi berbagai hasil generasi ImageDream di halaman proyek ByteDance.

Terkait: Pembaruan Plugin Difusi Meningkatkan Generasi Gambar AI Saat artikel ini ditulis, tampaknya ada masalah dalam mengakses kode untuk ImageDream di halaman proyeknya. AI Business telah menghubungi penulis untuk klarifikasi lebih lanjut.