NVIDIA запускает модели AI Foundation для ПК RTX AI

Сегодня компания NVIDIA анонсировала базовые модели, работающие локально на ПК NVIDIA RTX AI, которые выводят на новый уровень возможности цифровых людей, создание контента, производительность и разработку.
Эти модели, предлагаемые как микросервисы NVIDIA NIM, ускоряются новыми графическими процессорами серии GeForce RTX 50, которые обеспечивают производительность ИИ до 3352 триллионов операций в секунду и 32 ГБ видеопамяти. Созданные на архитектуре NVIDIA Blackwell, серии RTX 50 являются первыми потребительскими графическими процессорами, которые поддерживают вычисления FP4, что повышает производительность вывода ИИ в 2 раза и позволяет генеративным моделям ИИ работать локально в меньшем объеме памяти по сравнению с оборудованием предыдущего поколения.

Микросервисы NIM, подключенные к этим графическим интерфейсам, позволят без труда получать доступ к новейшим моделям генеративного ИИ и развертывать их. NVIDIA AI Blueprints, созданные на основе микросервисов NIM, предоставляют простые в использовании, предварительно настроенные эталонные рабочие процессы для цифровых людей, создания контента и многого другого. Чтобы удовлетворить растущий спрос со стороны разработчиков и энтузиастов ИИ, каждый ведущий производитель ПК и сборщик систем выпускает ПК RTX AI с поддержкой NIM и графическими процессорами GeForce RTX 50 Series. «ИИ развивается со скоростью света, от ИИ восприятия до генеративного ИИ, а теперь и агентского ИИ», — сказал Дженсен Хуанг, основатель и генеральный директор NVIDIA. «Микросервисы NIM и AI Blueprints дают разработчикам и энтузиастам ПК строительные блоки для изучения магии ИИ».

Делаем ИИ шустрым
Базовые модели — нейронные сети, обученные на огромных объемах необработанных данных — являются строительными блоками для генеративного ИИ.

NVIDIA выпустит конвейер микросервисов NIM для ПК RTX AI от ведущих разработчиков моделей, таких как Black Forest Labs, Meta, Mistral и Stability AI. Варианты использования охватывают большие языковые модели (LLM), модели языка зрения, генерацию изображений, речь, модели встраивания для генерации дополненного поиска (RAG), извлечение PDF и компьютерное зрение.

NVIDIA сегодня также анонсировала семейство открытых моделей Llama Nemotron, которые обеспечивают высокую точность в широком спектре агентских задач. Модель Llama Nemotron Nano будет предлагаться как микросервис NIM для ПК и рабочих станций RTX AI и отлично справляется с задачами агентского AI, такими как следование инструкциям, вызов функций, чат, кодирование и математика.

Микросервисы NIM включают ключевые компоненты для запуска ИИ на ПК и оптимизированы для развертывания на графических процессорах NVIDIA — как на ПК и рабочих станциях RTX, так и в облаке.

«ИИ стремительно продвигает инновации для ПК с Windows 11, а подсистема Windows для Linux (WSL) предлагает великолепную кроссплатформенную среду для разработки ИИ на Windows 11 вместе с Windows Copilot Runtime», — сказал Паван Давулури, корпоративный вице-президент Windows в Microsoft. «Микросервисы NVIDIA NIM, оптимизированные для ПК с Windows, предоставляют разработчикам и энтузиастам готовые к интеграции модели ИИ для своих приложений Windows, еще больше ускоряя развертывание возможностей ИИ для пользователей Windows».

Микросервисы NIM, работающие на ПК RTX AI, будут совместимы с ведущими фреймворками разработки и агентов AI, включая AI Toolkit для VSCode, AnythingLLM, ComfyUI, CrewAI, Flowise AI, LangChain, Langflow и LM Studio. Разработчики могут подключать приложения и рабочие процессы, созданные на этих фреймворках, к моделям AI, работающим на микросервисах NIM, через стандартные для отрасли конечные точки, что позволяет им использовать новейшие технологии с унифицированным интерфейсом в облаке, центрах обработки данных, рабочих станциях и ПК.

Энтузиасты также смогут опробовать ряд микросервисов NIM, используя предстоящий выпуск технической демонстрации NVIDIA ChatRTX.

Придание лицу агентного ИИ
Чтобы продемонстрировать, как энтузиасты и разработчики могут использовать NIM для создания агентов и помощников на основе искусственного интеллекта, компания NVIDIA сегодня представила Project R2X — компьютерного аватара с функцией зрения, который может предоставлять пользователю информацию прямо под рукой, помогать с настольными приложениями и видеоконференцсвязью, читать и резюмировать документы и многое другое.

Аватар визуализируется с помощью NVIDIA RTX Neural Faces, нового генеративного алгоритма ИИ, который дополняет традиционную растеризацию полностью сгенерированными пикселями. Затем лицо анимируется с помощью новой диффузионной модели NVIDIA Audio2Face -3D, которая улучшает движение губ и языка. R2X можно подключить к облачным службам ИИ, таким как OpenAI GPT4o и xAI Grok, а также к микрослужбам NIM и AI Blueprints, таким как извлекатели PDF или альтернативные LLM, через фреймворки для разработчиков, такие как CrewAI, Flowise AI и Langflow. Подпишитесь на обновления Project R2X.

Проекты AI Blueprints появятся на ПК
Микросервисы NIM также доступны пользователям ПК через AI Blueprints — эталонные рабочие процессы AI, которые могут выполняться локально на ПК RTX. С помощью этих чертежей разработчики могут создавать подкасты из документов PDF, генерировать потрясающие изображения, руководствуясь 3D-сценами, и многое другое.

Blueprint для PDF to podcast извлекает текст, изображения и таблицы из PDF для создания сценария подкаста, который может редактироваться пользователями. Он также может генерировать полную аудиозапись из сценария, используя голоса, доступные в blueprint или основанные на образце голоса пользователя. Кроме того, пользователи могут вести беседу в реальном времени с ведущим подкаста AI, чтобы узнать больше о конкретных темах.

В проекте используются микросервисы NIM, такие как Mistral-Nemo-12B-Instruct для языка, NVIDIA Riva для преобразования текста в речь и автоматического распознавания речи, а также набор микросервисов NeMo Retriever для извлечения PDF-файлов.

AI Blueprint для генеративного ИИ с 3D-управлением дает художникам более точный контроль над генерацией изображений. Хотя ИИ может генерировать потрясающие изображения из простых текстовых подсказок, управление композицией изображения с использованием только слов может быть сложной задачей. С помощью этого чертежа создатели могут использовать простые 3D-объекты, размещенные в 3D-рендере, таком как Blender, для управления генерацией изображений ИИ. Художник может создавать 3D-активы вручную или генерировать их с помощью ИИ, размещать их на сцене и устанавливать камеру 3D-вида. Затем предварительно упакованный рабочий процесс, работающий на базе микросервиса FLUX NIM, будет использовать текущую композицию для генерации высококачественных изображений, соответствующих 3D-сцене.

ПК RTX AI с поддержкой NIM будут поставляться компаниями Acer, ASUS, Dell, GIGABYTE, HP, Lenovo, MSI, Razer и Samsung, а также местными сборщиками систем Corsair, Falcon Northwest, LDLC, Maingear, Mifcon, Origin PC, PCS и Scan.

Узнайте больше о том, как микросервисы NIM, AI Blueprints и ПК RTX AI с поддержкой NIM ускоряют генеративный ИИ, присоединившись к NVIDIA на выставке CES.

Источник: Techpowerup.com