NVIDIA представляет генеративные модели ИИ и микросервисы NIM

Сегодня компания NVIDIA объявила о значительных достижениях в универсальном описании сцены, или OpenUSD, которые расширят внедрение универсальной структуры обмена 3D-данными в робототехнику, промышленный дизайн и проектирование, а также увеличат возможности разработчиков по созданию высокоточных виртуальных миров для следующей эволюции искусственного интеллекта.

«Бум генеративного искусственного интеллекта для тяжелой промышленности уже наступил», — сказал Рев Лебаредиан, вице-президент Omniverse и технологий моделирования в NVIDIA. «До недавнего времени цифровые миры в основном использовались творческими индустриями; теперь, благодаря усовершенствованиям и доступности, которые микросервисы NVIDIA NIM привносят в OpenUSD, отрасли всех видов могут создавать физические виртуальные миры и цифровые двойники для стимулирования инноваций и подготовки к следующему этапу». волна искусственного интеллекта: робототехника».

Генеративный искусственный интеллект приходит в доллары США с NVIDIA NIM
Первые в мире генеративные модели искусственного интеллекта для разработки OpenUSD, разработанные NVIDIA, будут доступны в виде микросервисов NVIDIA NIM. Модели позволяют разработчикам включать генеративных ИИ-пилотов и агентов в рабочие процессы, связанные с долларами США, расширяя возможности в трехмерных мирах и помогая ускорить внедрение долларов США в новых отраслях промышленности, таких как производство, автомобилестроение и робототехника.

В предварительной версии доступны следующие микросервисы:

• Микросервис NIM USD Code — отвечает на общие вопросы по OpenUSD и автоматически генерирует код OpenUSD-Python на основе текстовых подсказок, который затем можно ввести в приложение для просмотра OpenUSD, такое как usdview от Pixar, или приложение на базе NVIDIA Omniverse Kit для визуализации соответствующего 3D-данные.
• Микросервис NIM USD Search — позволяет разработчикам осуществлять поиск в огромных библиотеках OpenUSD, 3D-данных и данных изображений, используя естественный язык или изображения.
• Микросервис NIM USD Validate — проверяет совместимость загруженных файлов с версиями выпуска OpenUSD и генерирует полностью обработанное RTX изображение с отслеживанием пути на основе API-интерфейсов NVIDIA Omniverse Cloud или интерфейсов прикладного программирования.

Недавно анонсированные микросервисы, которые будут доступны в ближайшее время:

• Микросервис NIM USD Layout — позволяет пользователям собирать сцены на основе OpenUSD из серии текстовых подсказок на основе пространственного интеллекта.
• Микросервис USD SmartMaterial NIM — прогнозирует и применяет реалистичный материал к объекту автоматизированного проектирования.
• Микросервис NIM fVDB Mesh Generation — создает сетку на основе OpenUSD, визуализируемую API-интерфейсами Omniverse Cloud, на основе данных облака точек.
• Микросервис fVDB Physics Super-Res NIM — выполняет суперразрешение искусственного интеллекта для кадра или последовательности кадров для создания физического моделирования с высоким разрешением на основе OpenUSD.
• Микросервис NIM fVDB NeRF-XL — генерирует крупномасштабные поля нейронного излучения в OpenUSD с использованием API-интерфейсов Omniverse Cloud.
• Foxconn, мировой лидер производства с более чем 170 заводами по всему миру, уже пользуется преимуществами вычислительной платформы NVIDIA, используя микросервисы NIM и Omniverse для создания цифрового двойника разрабатываемого завода.

«Цифровые двойники помогут нам ускорить следующую волну промышленного производства и автономных машин», — сказал Чжэ Ши, директор по цифровым технологиям и глава платформы интеллектуального производства в Foxconn. «NVIDIA Omniverse и новые микросервисы NIM демократизируют возможности разработки цифровых двойников и помогут нашим командам строить физические виртуальные фабрики быстрее, чем когда-либо».

WPP, мировой лидер в области маркетинговых и коммуникационных услуг, одним из первых внедрил микросервисы USD Search и USD Code NIM, реализовав их в своем генеративном конвейере создания контента с поддержкой искусственного интеллекта, построенном на NVIDIA Omniverse, для таких клиентов, как The Coca-Cola. Компания.

«Прелесть инновации в том, насколько она совместима с тем, как мы работаем, и в том, что она использует открытые стандарты, что не только ускоряет будущую работу, но и позволяет нам продолжать развивать и расширять полезность всех наших предыдущих инвестиций в такие стандарты, как OpenUSD», — сказал Стефан Преториус, технический директор WPP. «Использование микросервисов NVIDIA NIM с NVIDIA Omniverse позволило нам запустить новые инновационные производственные инструменты с такими компаниями, как The Coca-Cola Company, с беспрецедентной скоростью».

Разъемы USD привносят генеративный искусственный интеллект в большее количество отраслей
Серия новых разъемов USD для форматов данных робототехники и потоковой передачи в Apple Vision Pro открывает порталы совместимости OpenUSD и расширенной разработки для большего числа отраслей.

NVIDIA и Siemens, мировой лидер в области промышленной автоматизации и программного обеспечения, расширяют сотрудничество, чтобы облегчить выполнение большего количества промышленных задач с помощью OpenUSD. Siemens интегрирует конвейеры OpenUSD со своим портфелем технологий моделирования Simcenter для поддержки принятия обоснованных решений и сотрудничества между ключевыми заинтересованными сторонами.

Эта интеграция обеспечивает высокоточную фотореалистичную визуализацию сложных данных моделирования в режиме реального времени, обеспечивая более глубокое понимание производительности продукта в его реальной операционной среде. Эта работа будет основываться на усилиях Siemens по включению Omniverse в портфолио Teamcenter Product Lifecycle Management.

NVIDIA также выпустила коннектор из унифицированного формата описания робототехники для OpenUSD, позволяющий робототехникам беспрепятственно переносить данные о своих роботах между приложениями, в том числе для проектирования, моделирования и обучения с подкреплением.

Для дальнейшего расширения экосистемы OpenUSD NVIDIA анонсировала комплект разработки программного обеспечения OpenUSD Exchange, позволяющий разработчикам создавать свои собственные надежные соединители данных OpenUSD.

«OpenUSD производит революцию в том, как мы создаем 3D-контент и взаимодействуем с ним», — сказал Стив Мэй, технический директор Pixar и председатель Альянса OpenUSD (AOUSD). «Теперь, благодаря этим новым сервисам и API для OpenUSD, созданным NVIDIA, мы ожидаем увидеть ускоренный рост и внедрение доллара США, что откроет путь новым пользователям и отраслям к более легкому взаимодействию с нашей экосистемой».

Динамика экосистемы OpenUSD
В прошлом году NVIDIA стала сооснователем AOUSD вместе с Pixar, Adobe, Apple и Autodesk. Через AOUSD NVIDIA и другие сотрудники объявили о новом выпуске OpenUSD, прогрессе в разработке базовой спецификации OpenUSD и новых участниках.

Availability
Микросервисы NIM USD Search, USD Code и USD Validate доступны в предварительной версии в каталоге NVIDIA API. Коннектор OpenUSD to URDF теперь доступен с NVIDIA Isaac Sim.

Разработчики могут начать интеграцию генеративного ИИ в рабочие процессы OpenUSD с помощью новых инструментов разработчика Omniverse и эталонного рабочего процесса для создания конвейера синтетических данных с поддержкой генеративного ИИ с помощью OpenUSD.

Источник: NVIDIA