Технология на основе ИИ создаёт 3D-объекты из 2D-изображений

12 августа 2024, 19:15 / Технологии → Новости / Технологии

В новой исследовательской работе ученых Meta

Ме́та — многозначный термин. Википедия

и Оксфордского университета описывается мощная технология на основе ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

для создания масштабируемых 3D-моделей. VFusion3D решает проблему нехватки 3D-данных для обучения ИИ и создания контента. Таким образом, вместо использования существующих 3D-моделей VFusion3D обучается на тексте, изображениях и видео.

Исследователи утверждают, что VFusion3D «может генерировать 3D-ресурс из одного изображения за считанные секунды», демонстрируя высококачественные и точные результаты. Если эти масштабируемые 3D-модели окажутся на должном уровне, они могут сэкономить много работы в игровой, виртуальной реальности и дизайн-индустрии.

Исследовательская группа под руководством Цзюньлинь Хана, Филиппоса Коккиноса и Филиппа Торра объясняет конвейер, который они разработали для VFusion3D, как показано на схеме выше. Конвейер содержит небольшой объем 3D-данных, которые используются для тонкой настройки модели диффузии видео. Видеоролики являются отличными источниками для этого конвейера, поскольку они часто показывают различные углы объекта, что может быть полезным для точного 3D-воспроизведения.

(Изображение предоставлено: Meta и Оксфордский университет)

Исследователи выбрали видеомодель, названную EMU Video, поскольку она была обучена на смеси видео, включая панорамные снимки объектов и кадры с дронов. Как они говорят, такие видеоисточники «по сути содержат подсказки о трехмерном мире». Результатом стал VFusion3D, который, как утверждается, способен «генерировать высококачественные трехмерные ресурсы из одного изображения» независимо от угла обзора. Исследование пользователей подтверждает эти заявления.

В дополнение к тестированию своей новой модели ученые сравнили ее с конкурирующими генеративными моделями на основе дистилляции и прямой связи 3D. В конце концов, это не первый инструмент, который нацелен на эту задачу. Джунлин Хан из Meta подчеркивает сравнительное качество и производительность VFusion3D на странице проекта GitHub. Там же вы можете насладиться выбором анимированных объектов из VFusion3D и его конкурентов — в сравнении с исходным (входным) изображением. Несколько сравнений включены в нашу галерею.

Если читатели заинтересованы в тестировании VFusion3D, доступна онлайн-демонстрация. В ней вы можете сгенерировать и загрузить 3D-модель из одного из примеров изображений или даже загрузить свой источник. На момент написания эта демоверсия не отвечала, так как была «занята».

Источник: Tomshardware.com