Контролируйте композицию ИИ-изображений с помощью NVIDIA AI Blueprint
Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.
Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами.
Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия
Читайте также:Генеральный директор Microsoft рассказал, что ИИ пишет до 30% его кодаАвтор NieR: Automata посоветовал не полагаться на прогнозы о доминировании искусственного интеллекта в игровой индустрииxMEMS расширяет технологию µCooling Fan-on-a-Chip для центров обработки данных ИИTSMC представляет дорожную карту технологий упаковки в масштабе пластин и более крупных пакетов ИИMicrosoft запускает функцию отзыва и интегрирует ИИ в поиск, а также другие обновления
Расширенные рабочие процессы с использованием ControlNets — инструментов, которые улучшают генерацию изображений, обеспечивая больший контроль над выводом — предлагают решения, но сложность их настройки ограничивает более широкую доступность. Чтобы помочь преодолеть эти проблемы и ускорить доступ к расширенным возможностям ИИ, NVIDIA на выставке CES в начале этого года анонсировала NVIDIA AI Blueprint для генеративного ИИ с 3D-управлением для ПК RTX. Этот пример рабочего процесса включает в себя все необходимое для начала генерации изображений с полным контролем композиции. Пользователи могут загрузить новый Blueprint уже сегодня.
Используйте 3D для управления изображениями, созданными искусственным интеллектом
NVIDIA AI Blueprint для генеративного ИИ с 3D-управлением управляет генерацией изображений, используя черновую 3D-сцену в Blender для предоставления карты глубины генератору изображений — FLUX.1-dev от Black Forest Labs — который вместе с подсказкой пользователя генерирует желаемые изображения. Карта глубины помогает модели изображения понять, где должны быть размещены вещи. Преимущество этой техники в том, что она не требует высокодетализированных объектов или высококачественных текстур, поскольку они будут преобразованы в оттенки серого. А поскольку сцены находятся в 3D, пользователи могут легко перемещать объекты и менять углы обзора камеры.
Под капотом Blieprint находится ComfyUI, мощный инструмент, который позволяет создателям объединять генеративные модели ИИ интересными способами. Например, плагин ComfyUI Blender позволяет пользователям подключать Blender к ComfyUI. Кроме того, микросервис NVIDIA NIM позволяет пользователям развертывать модель FLUX.1-dev и запускать ее с максимальной производительностью на графических процессорах GeForce RTX, используя комплект разработки программного обеспечения NVIDIA TensorRT и оптимизированные форматы, такие как FP4 и FP8. Для генеративного ИИ с 3D-управлением требуется графический процессор NVIDIA GeForce RTX 4080 или выше.
Готовая основа для рабочих процессов генеративного ИИ
План генеративного ИИ с 3D-управлением включает в себя все необходимое для начала работы с передовым рабочим процессом генерации изображений: Blender, ComfyUI, плагины Blender для их соединения, микросервис NIM FLUX.1-dev и узлы ComfyUI, необходимые для его запуска. Для художников ИИ он также поставляется с установщиком и подробными инструкциями по развертыванию.
Blueprint предлагает структурированный способ погружения в генерацию изображений, предоставляя рабочий конвейер, который можно адаптировать под конкретные потребности. Пошаговая документация, примеры активов и предварительно настроенная среда обеспечивают прочную основу, которая делает творческий процесс более управляемым, а результаты — более мощными. Для разработчиков ИИ blueprint может служить основой для создания аналогичных конвейеров или расширения существующих. Он поставляется с исходным кодом, примерами данных, документацией и рабочим образцом для начала работы.
Генерация в реальном времени на базе RTX AI
AI Blueprints работают на ПК и рабочих станциях NVIDIA RTX AI, используя последние достижения в области производительности архитектуры NVIDIA Blackwell. Микросервис NIM FLUX.1-dev, включенный в blueprint для генеративного ИИ с 3D-управлением, оптимизирован с помощью TensorRT и квантован до точности FP4 для графических процессоров Blackwell, что позволяет более чем вдвое увеличить скорость вывода по сравнению с собственным PyTorch FP16.
Для пользователей на графических процессорах поколения NVIDIA Ada Lovelace микросервис NIM FLUX.1-dev поставляется с вариантами FP8, также ускоренными TensorRT. Эти улучшения делают высокопроизводительные рабочие процессы более доступными для быстрой итерации и экспериментирования. Квантование также помогает запускать модели с меньшим объемом VRAM. Например, с FP4 размеры моделей уменьшаются более чем в 2 раза по сравнению с FP16.
Настраивайте и создавайте с помощью RTX AI
В настоящее время для RTX доступно 10 микросервисов NIM, поддерживающих различные варианты использования: от генерации изображений и языка до речевого ИИ и компьютерного зрения, а в разработке находится еще больше проектов и сервисов.
Доступные уже сейчас на сайте build.nvidia.com/nvidia/genai-3d-guided, AI Blueprints и микросервисы NIM предоставляют мощную основу для тех, кто готов создавать, настраивать и расширять границы генеративного ИИ на ПК и рабочих станциях RTX.
Источник: NVIDIA Blog
0 комментариев