ByteDance представила Seed3D 1.0 — инструмент для мгновенного создания 3D-моделей из фотографий

Компания ByteDance, владелец TikTok, представила революционный инструмент для создания 3D-контента под названием Seed3D 1.0. Эта система способна преобразовать обычное двумерное изображение в полноценную 3D-модель с детализированной геометрией, фотореалистичными текстурами и материалами на основе физического рендеринга (PBR).

Технология представляет собой сквозной конвейер, построенный на архитектуре Diffusion Transformer, который обучался на огромных массивах данных. Разработчики явно нацелены на лидерство в области генеративного 3D-моделирования.

Seed3D 1.0: реализм, структура и масштабируемость

Несмотря на существование таких технологий, как Gaussian Splatting, и открытых проектов вроде Hunyuan3D, ByteDance заявляет, что Seed3D 1.0 превосходит как открытые, так и проприетарные аналоги по качеству текстур и геометрической точности. Примечательно, что модель достигает этих результатов всего с 1,5 миллиардами параметров, обходя даже более крупные модели вроде Hunyuan3D 2.1 с 3 миллиардами параметров.

Ключевое новшество заключается в комбинации мультимодального Diffusion Transformer и пошаговой стратегии генерации. Система сначала анализирует изображение с помощью Vision-Language модели, извлекая информацию об объектах и пространственных связях, затем генерирует отдельные 3D-модели и собирает их в полноценную сцену. Этот подход позволяет масштабировать создание контента — от отдельного стула до детализированного офиса или даже городского ландшафта.

Seed3D 1.0 также демонстрирует превосходство в поддержании согласованности текстур при просмотре с разных ракурсов. Вместо использования универсальных текстур система генерирует выровненные по виду материалы, которые остаются coherent под любым углом, обеспечивая как реализм, так и структурную точность, необходимую для симуляций. Созданные модели можно напрямую интегрировать в платформы для симуляций, такие как Isaac Sim, для обучения воплощённого искусственного интеллекта.

По мере того как граница между реальным и синтетическим контентом продолжает размываться, Seed3D 1.0 представляет собой значительный скачок вперёд для ByteDance и потенциально — для 3D-художников, разработчиков робототехники и платформ пространственных вычислений по всему миру.

Интересный факт: технология генеративного 3D-моделирования становится всё более доступной — если раньше создание качественных 3D-моделей требовало дней работы специалистов, то теперь подобные инструменты позволяют делать это за секунды, открывая новые возможности для игровой индустрии, архитектурной визуализации и метавселенных.