Yangi maqolada Point-E: Murakkab signallardan 3D nuqtali bulutlarni yaratish tizimi, OpenAI tadqiqot guruhi murakkab matn tomonidan boshqariladigan turli va murakkab 3D shakllarni yaratish uchun diffuziya modellaridan foydalanadigan 3D nuqtali bulutli matn shartli sintez tizimi Point Eni taqdim etadi. ishoralar.bir GPUda bir necha daqiqada.
Tasvir yaratishning zamonaviy modellarining ajoyib ishlashi 3D matn ob'ektlarini yaratish bo'yicha tadqiqotlarni rag'batlantirdi.Biroq, bir necha daqiqalar va hatto soniyalar ichida mahsulot ishlab chiqarishi mumkin bo'lgan 2D modellardan farqli o'laroq, ob'ektni yaratuvchi modellar odatda bitta namunani yaratish uchun bir necha soatlik GPU ishini talab qiladi.
Yangi maqolada Point-E: Murakkab signallardan 3D nuqta bulutlarini yaratish tizimi, OpenAI tadqiqot guruhi 3D nuqta bulutlari uchun matnli shartli sintez tizimi Point·E ni taqdim etadi.Ushbu yangi yondashuv bitta GPUda bir yoki ikki daqiqada murakkab matn signallaridan turli va murakkab 3D shakllarni yaratish uchun tarqalish modelidan foydalanadi.
Jamoa virtual haqiqat va oʻyinlardan tortib sanoat dizaynigacha boʻlgan real dunyo ilovalari uchun 3D-kontent yaratishni demokratlashtirish uchun muhim boʻlgan matnni 3D ga aylantirish muammosiga eʼtibor qaratgan.Matnni 3D formatga o‘tkazishning mavjud usullari ikkita toifaga bo‘linadi, ularning har biri o‘zining kamchiliklariga ega: 1) generativ modellar namunalarni samarali yaratish uchun ishlatilishi mumkin, lekin turli va murakkab matn signallari uchun samarali masshtablashtira olmaydi;2) murakkab va xilma-xil matn signallari bilan ishlash uchun oldindan o'rgatilgan matnli tasvir modeli, lekin bu yondashuv hisoblash uchun intensivdir va model mazmunli yoki izchil 3D ob'ektlarga mos kelmaydigan mahalliy minimallarga osongina yopishib olishi mumkin.
Shu sababli, jamoa yuqoridagi ikkita yondashuvning kuchli tomonlarini birlashtirishga qaratilgan muqobil yondashuvni o'rganib chiqdi, bu matn-tasvir juftliklarining katta to'plamida o'qitilgan matndan tasvirga diffuziya modelidan foydalangan holda (turli va murakkab signallarni boshqarishga imkon beradi) va matn-tasvir juftliklarining kichikroq to'plamiga o'rgatilgan 3D tasvir diffuziya modeli.tasvir-3D juftlik ma'lumotlar to'plami.Matnni tasvirga o'tkazish modeli birinchi navbatda bitta sintetik tasvirni yaratish uchun kiritilgan tasvirni namuna oladi va tasvirdan 3Dga modeli tanlangan tasvir asosida 3D nuqta bulutini yaratadi.
Buyruqning generativ to'plami matndan tasvirlarni shartli ravishda yaratish uchun yaqinda taklif qilingan generativ ramkalarga asoslanadi (Sohl-Dickstein va boshq., 2015; Song & Ermon, 2020b; Ho va boshq., 2020).Ular matnni tasvirga aylantirish modeli sifatida 3 milliard GLIDE parametrlariga ega GLIDE modelidan foydalanadilar (Nichol va boshq., 2021). transformatsiya modeli.tasvir uchun tasvirlar.3D modellar.
Oldingi ishlarda nuqta bulutlarini qayta ishlash uchun 3D arxitekturasidan foydalanilgan bo‘lsa, tadqiqotchilar samaradorlikni oshirish uchun oddiy transduserga asoslangan modeldan (Vaswani va boshq., 2017) foydalanganlar.Ularning diffuziya modeli arxitekturasida nuqta bulutli tasvirlar avval oldindan o‘rgatilgan ViT-L/14 CLIP modeliga kiritiladi, so‘ngra chiqish tarmoqlari marker sifatida konvertorga yuboriladi.
O'zlarining empirik tadqiqotida jamoa tavsiya etilgan Point·E usulini COCO ob'ektini aniqlash, segmentatsiyalash va imzo ma'lumotlar to'plamidan olingan skoring signallari bo'yicha boshqa generativ 3D modellari bilan solishtirdi.Natijalar Point·E murakkab matn signallaridan turli va murakkab 3D shakllarni yaratishga qodirligini va xulosa chiqarish vaqtini bir-ikki darajaga tezlashtirishini tasdiqlaydi.Jamoa ularning ishlari 3D matn sintezi bo'yicha keyingi tadqiqotlarni ilhomlantirishiga umid qilmoqda.
Loyihaning GitHub’ida oldindan o‘rganilgan nuqta bulutining tarqalishi modeli va baholash kodi mavjud.Hujjat nuqtasi-E: arXiv-da murakkab maslahatlardan 3D nuqta bulutlarini yaratish tizimi mavjud.
Biz bilamizki, siz biron bir yangilik yoki ilmiy kashfiyotni o'tkazib yuborishni xohlamaysiz.Haftalik AI yangilanishlarini olish uchun mashhur Synced Global AI Weekly axborot byulletenimizga obuna bo'ling.
Yuborilgan vaqt: 28-dekabr 2022-yil