NVIDIA запустила платформу Cosmos World Foundation

Компания NVIDIA сегодня анонсировала NVIDIA Cosmos — платформу, включающую в себя самые современные базовые модели генеративного мира, усовершенствованные токенизаторы, ограждения и ускоренный конвейер обработки видео, созданные для ускорения разработки физических систем искусственного интеллекта, таких как автономные транспортные средства (AV) и роботы.

Модели Open World Foundation ускорят следующую волну ИИ
Набор открытых моделей NVIDIA Cosmos позволяет разработчикам настраивать WFM с помощью наборов данных, таких как видеозаписи поездок беспилотных автомобилей или перемещения роботов по складу, в соответствии с потребностями целевого приложения.

Cosmos WFM специально созданы для исследований и разработок в области физического ИИ и могут генерировать основанные на физике видео из комбинации входных данных, таких как текст, изображение и видео, а также данные с датчиков робота или движения. Модели созданы для физически обоснованных взаимодействий, постоянства объектов и высококачественной генерации имитируемых промышленных сред, таких как склады или фабрики, а также сред вождения, включая различные дорожные условия.

В своем вступительном докладе на выставке CES основатель и генеральный директор NVIDIA Дженсен Хуанг продемонстрировал, как разработчики физического ИИ могут использовать модели Cosmos, в том числе для:

• Поиск и понимание видео, позволяющие разработчикам легко находить на основе видеоданных определенные сценарии обучения, например, заснеженные дороги или заторы на складах.
• Генерация фотореалистичных синтетических данных на основе физики с использованием моделей Cosmos для создания фотореалистичных видео из контролируемых 3D-сценариев, разработанных на платформе NVIDIA Omniverse.
• Разработка и оценка физических моделей ИИ, будь то создание индивидуальной модели на основе базовых моделей, улучшение моделей с использованием Cosmos для обучения с подкреплением или тестирование их работы в условиях конкретного моделируемого сценария.
• Предвидение и моделирование «мультивселенной» с использованием Cosmos и Omniverse для генерации всех возможных будущих результатов, которые может получить модель ИИ, чтобы помочь ей выбрать наилучший и наиболее точный путь.

Расширенные инструменты разработки модели мира
Для создания физических моделей ИИ требуются петабайты видеоданных и десятки тысяч часов вычислений для обработки, отбора и маркировки этих данных. Чтобы помочь сэкономить огромные затраты на отбор данных, обучение и настройку моделей, Cosmos предлагает:

• Конвейер обработки данных с ускорением на базе NVIDIA AI и CUDA на базе NVIDIA NeMo Curator, позволяющий разработчикам обрабатывать, сортировать и маркировать 20 миллионов часов видео за 14 дней с помощью платформы NVIDIA Blackwell, а не более трех лет при использовании конвейера только на базе ЦП.
• NVIDIA Cosmos Tokenizer, современный визуальный токенизатор для преобразования изображений и видео в токены. Он обеспечивает в 8 раз большее общее сжатие и в 12 раз более быструю обработку, чем ведущие сегодняшние токенизаторы.
• Фреймворк NVIDIA NeMo для высокоэффективного обучения моделей, настройки и оптимизации.
• Крупнейшие в мире отрасли физического ИИ внедряют Cosmos
• Пионеры в области физического ИИ уже внедряют технологии Cosmos.

1X, компания по производству ИИ и гуманоидных роботов, запустила набор данных 1X World Model Challenge с использованием Cosmos Tokenizer. XPENG будет использовать Cosmos для ускорения разработки своего гуманоидного робота. А Hillbot и Skild AI используют Cosmos для ускорения разработки своих универсальных роботов.

«Дефицит и изменчивость данных являются ключевыми проблемами для успешного обучения в роботизированной среде», — сказал Прас Велагапуди, главный технический директор Agility. «Возможности Cosmos по передаче текста, изображений и видео в мир позволяют нам создавать и дополнять фотореалистичные сценарии для различных задач, которые мы можем использовать для обучения моделей без необходимости в столь дорогостоящем сборе данных в реальном мире».

Лидеры транспортной отрасли также используют Cosmos для создания физического ИИ для беспилотных автомобилей:

• Waabi, компания-пионер в области генеративного ИИ для физического мира, начавшая с автономных транспортных средств, оценивает Cosmos в контексте сбора данных для разработки и моделирования программного обеспечения для беспилотных автомобилей.
• Компания Wayve, разрабатывающая базовые модели искусственного интеллекта для автономного вождения, оценивает Cosmos как инструмент для поиска экстремальных и критических сценариев вождения, используемых для обеспечения безопасности и проверки.
• Поставщик набора инструментов для AV-технологий Foretellix будет использовать Cosmos вместе с API-интерфейсами NVIDIA Omniverse Sensor RTX для оценки и генерации высококачественных сценариев тестирования и обучающих данных в нужном масштабе.
• Глобальный гигант совместных поездок Uber сотрудничает с NVIDIA для ускорения автономной мобильности. Богатые наборы данных о вождении от Uber в сочетании с функциями платформы Cosmos и облака NVIDIA DGX Cloud могут помочь партнерам по AV создавать более сильные модели ИИ еще эффективнее.

«Генеративный ИИ станет движущей силой будущего мобильности, требуя как богатых данных, так и очень мощных вычислений», — сказал Дара Хосровшахи, генеральный директор Uber. «Работая с NVIDIA, мы уверены, что сможем помочь ускорить сроки безопасных и масштабируемых решений автономного вождения для отрасли».

Разработка открытого, безопасного и ответственного ИИ
NVIDIA Cosmos был разработан в соответствии с принципами надежного искусственного интеллекта NVIDIA, которые ставят во главу угла конфиденциальность, безопасность, прозрачность и снижение нежелательной предвзятости.

Надежный ИИ необходим для стимулирования инноваций в сообществе разработчиков и поддержания доверия пользователей. NVIDIA стремится к безопасному и надежному ИИ в соответствии с добровольными обязательствами Белого дома в области ИИ и другими глобальными инициативами по безопасности ИИ.

Открытая платформа Cosmos включает в себя защитные ограждения, разработанные для смягчения вредоносного текста и изображений, а также инструмент для улучшения текстовых подсказок для точности. Видеоролики, созданные с помощью авторегрессионных и диффузионных моделей Cosmos в каталоге API NVIDIA, включают в себя невидимые водяные знаки для идентификации контента, созданного ИИ, что помогает снизить вероятность дезинформации и неправильной атрибуции.

NVIDIA призывает разработчиков внедрять надежные методы работы с ИИ и совершенствовать решения по защите и созданию водяных знаков для своих приложений.

Availability
Cosmos WFM теперь доступны под открытой лицензией модели NVIDIA на Hugging Face и в каталоге NVIDIA NGC. Модели Cosmos вскоре будут доступны как полностью оптимизированные микросервисы NVIDIA NIM.

Разработчики могут получить доступ к NVIDIA NeMo Curator для ускоренной обработки видео и настроить собственные модели мира с помощью NVIDIA NeMo. NVIDIA DGX Cloud предлагает быстрый и простой способ развертывания этих моделей с корпоративной поддержкой, доступной через программную платформу NVIDIA AI Enterprise.

NVIDIA также анонсировала новые большие языковые модели NVIDIA Llama Nemotron и языковые модели машинного зрения NVIDIA Cosmos Nemotron, которые разработчики могут использовать для корпоративных сценариев использования ИИ в здравоохранении, финансовых услугах, производстве и других областях.

Источник: Techpowerup.com