Во новата статија Point-E: Систем за генерирање на 3D точки облаци од сложени сигнали, истражувачкиот тим OpenAI воведува Point E, систем за условна синтеза на текст во облак со 3D точка кој користи модели на дифузија за да создаде разновидни и сложени 3D форми поттикнати од сложен текст. знаци.за неколку минути на еден графички процесор.
Неверојатните перформанси на денешните најсовремени модели за генерирање слики го поттикнаа истражувањето во генерирањето на 3D текстуални објекти.Сепак, за разлика од 2D моделите, кои можат да генерираат излез за неколку минути или дури секунди, моделите за генерирање на објекти обично бараат неколку часа работа на графичкиот процесор за да генерираат еден примерок.
Во новата статија Point-E: Систем за генерирање 3D точки облаци од сложени сигнали, истражувачкиот тим OpenAI го претставува Point·E, текстуален условен систем за синтеза за облаци со 3D точки.Овој нов пристап користи модел на ширење за да создаде разновидни и сложени 3Д форми од сложени текстуални сигнали за само една или две минути на еден графички процесор.
Тимот е фокусиран на предизвикот за конвертирање на текст во 3D, што е од клучно значење за демократизирање на создавањето 3D содржина за апликации во реалниот свет, кои се движат од виртуелна реалност и игри до индустриски дизајн.Постојните методи за конвертирање на текст во 3D спаѓаат во две категории, од кои секоја има свои недостатоци: 1) генеративните модели може да се користат за ефикасно генерирање примероци, но не можат ефикасно да се размерат за разновидни и сложени текстуални сигнали;2) претходно обучен модел на текст-слика за справување со сложени и разновидни текстуални знаци, но овој пристап е пресметковно интензивен и моделот лесно може да се заглави во локални минимуми кои не одговараат на значајни или кохерентни 3D објекти.
Затоа, тимот истражуваше алтернативен пристап кој има за цел да ги комбинира силните страни на горенаведените два пристапа, користејќи модел на дифузија од текст во слика обучен на голем сет на парови текст-слика (што му овозможува да ракува со различни и сложени сигнали) и 3D модел на дифузија на слики обучен на помал сет на парови текст-слика.сет на парови слика-3Д.Моделот текст-во-слика најпрво зема примероци од влезната слика за да создаде единствена синтетичка претстава, а моделот слика-на-3Д создава облак од 3D точка врз основа на избраната слика.
Генеративниот оџак на командата се заснова на неодамна предложените генеративни рамки за условно генерирање слики од текст (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Тие користат модел GLIDE со 3 милијарди GLIDE параметри (Nichol et al., 2021), фино подесени на рендерирани 3D модели, како нивен модел на трансформација од текст во слика, и збир на модели на дифузија кои генерираат облаци RGB точка како нивни модел на трансформација.слики во слика.3D модели.
Додека претходната работа користеше 3D архитектури за обработка на облаци со точки, истражувачите користеа едноставен модел базиран на трансдуцер (Vaswani et al., 2017) за да ја подобрат ефикасноста.Во архитектурата на нивниот дифузен модел, сликите од точкасти облак прво се внесуваат во претходно обучен ViT-L/14 CLIP модел, а потоа излезните мрежи се внесуваат во конверторот како маркери.
Во нивната емпириска студија, тимот го спореди предложениот метод Point·E со други генеративни 3D модели за бодување сигнали од COCO откривање објекти, сегментација и сетови на податоци со потпис.Резултатите потврдуваат дека Point·E е во состојба да генерира разновидни и сложени 3D форми од сложени текстуални сигнали и да го забрза времето на заклучување за еден до два реда на големина.Тимот се надева дека нивната работа ќе инспирира понатамошно истражување во синтезата на 3Д текст.
На GitHub на проектот се достапни однапред обучен модел за размножување на облак со точки и код за евалуација.Document Point-E: Системот за создавање облаци со 3D точки од сложени индиции е на arXiv.
Знаеме дека не сакате да пропуштите ниту една вест или научно откритие.Претплатете се на нашиот популарен неделен билтен на Synced Global AI за да добивате неделни ажурирања за вештачка интелигенција.
Време на објавување: Декември-28-2022 година