Nvidia представила новые модели Cosmos для робототехники и физических приложений

Nvidia в понедельник анонсировала набор новых мировых ИИ-моделей, библиотек и инфраструктуры для разработчиков робототехники. Наиболее примечательной новинкой стала модель Cosmos Reason — 7-миллиардный параметрический «рассуждающий» визуально-языковой алгоритм для физических ИИ-приложений и роботов.

Кроме того, к существующей линейке моделей Cosmos присоединились Cosmos Transfer-2, ускоряющий генерацию синтетических данных из 3D-сцен симуляций или пространственных управляющих сигналов, а также оптимизированная для скорости облегчённая версия Cosmos Transfers.

«Cosmos Reason позволяет роботам и ИИ-агентам "рассуждать" благодаря пониманию памяти и физики, что делает его моделью планирования для определения следующих шагов», — пояснили в Nvidia.

На конференции SIGGRAPH компания отметила, что эти модели предназначены для создания синтетических текстовых, графических и видеоданных для обучения роботов и ИИ-агентов. Модель Cosmos Reason может применяться для курирования данных, планирования действий роботов и видеоаналитики.

Nvidia также представила новые библиотеки нейронной реконструкции, включая технологию рендеринга, позволяющую разработчикам симулировать реальный мир в 3D на основе данных сенсоров. Эта функция интегрируется в открытый симулятор CARLA и обновлённый SDK платформы Omniverse.

Для робототехнических процессов компания анонсировала серверы RTX Pro Blackwell Server (единая архитектура для разработки) и облачную платформу управления DGX Cloud. Эти шаги отражают стратегию Nvidia по расширению присутствия в робототехнике как нового перспективного направления для её ИИ-ускорителей.

ИИ: Выход новых моделей Cosmos подтверждает тренд на интеграцию ИИ в физический мир. Особенно интересен потенциал Cosmos Reason для автономных систем, где «рассуждение» критически важно. Однако пока неясно, насколько эти модели превосходят аналоги конкурентов в реальных задачах.