CoreWeave запускает дебютную волну облачных инстансов на базе NVIDIA GB200 NVL72

/ ТехнологииНовости / Технологии
Модели и агенты рассуждений ИИ

Thumbnail: Искусственный интеллектИску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

Читайте также:AMD: скепсис инвесторов на фоне ИИИИ получает агентов: ChatGPT теперь имеет глубокие исследования с возможностями агентовIntel отказывается от Falcon Shores. Преемник — Jaguar ShoresМодель R1-Zero воспроизводит технологии DeepSeek за 30 долларовKIOXIA выпустила ПО AiSAQ для снижения потребности в DRAM

должны трансформировать отрасли, но для реализации их полного потенциала в масштабе требуются огромные вычисления и оптимизированное программное обеспечение. Процесс «рассуждений» включает в себя несколько моделей, генерируя множество дополнительных токенов, и требует инфраструктуры с комбинацией высокоскоростной связи, памяти и вычислений для обеспечения высококачественных результатов в реальном времени. Чтобы удовлетворить этот спрос, CoreWeave запустила экземпляры на базе NVIDIA GB200 NVL72, став первым поставщиком облачных услуг, сделавшим платформу NVIDIA Blackwell общедоступной. Благодаря стоечному NVIDIA NVLink на 72 графических процессорах NVIDIA Blackwell и 36 центральных процессорах NVIDIA Grace, масштабируемому до 110 000 графических процессоров с сетевым подключением NVIDIA Quantum-2 InfiniBand, эти экземпляры обеспечивают масштаб и производительность, необходимые для создания и развертывания следующего поколения моделей и агентов рассуждений ИИ.

NVIDIA GB200 NVL72 на CoreWeave
NVIDIA GB200 NVL72 — это решение с жидкостным охлаждением и стоечным масштабированием с доменом NVLink на 72 ГП, что позволяет шести десяткам ГП работать как один массивный ГП. NVIDIA Blackwell отличается множеством технологических прорывов, которые ускоряют генерацию токенов вывода, повышая производительность и снижая затраты на обслуживание. Например, пятое поколение NVLink обеспечивает пропускную способность ГП в 130 ТБ/с в одном домене NVLink на 72 ГП, а Transformer Engine второго поколения обеспечивает FP4 для более высокой производительности ИИ при сохранении высокой точности. Портфель управляемых облачных сервисов CoreWeave специально создан для Blackwell. CoreWeave Kubernetes Service оптимизирует оркестровку рабочей нагрузки, предоставляя идентификаторы доменов NVLink, обеспечивая эффективное планирование в пределах одной стойки. Slurm on Kubernetes (SUNK) поддерживает подключаемый модуль блока топологии, обеспечивая интеллектуальное распределение рабочей нагрузки по стойкам GB200 NVL72. Кроме того, платформа наблюдения CoreWeave предоставляет данные в режиме реального времени о производительности NVLink, использовании графического процессора и температурах.

Экземпляры GB200 NVL72 от CoreWeave оснащены сетевым интерфейсом NVIDIA Quantum-2 InfiniBand, который обеспечивает пропускную способность 400 Гбит/с на графический процессор для кластеров до 110 000 графических процессоров. Процессоры NVIDIA BlueField-3 DPU также обеспечивают ускоренную многопользовательскую облачную сеть, высокопроизводительный доступ к данным и эластичность вычислений графического процессора для этих экземпляров.

Полнофункциональная ускоренная вычислительная платформа для корпоративного ИИ
Полнофункциональная платформа искусственного интеллекта NVIDIA объединяет передовое программное обеспечение с инфраструктурой на базе Blackwell, помогая предприятиям создавать быстрые, точные и масштабируемые агенты искусственного интеллекта.

NVIDIA Blueprints предоставляет предварительно определенные, настраиваемые, готовые к развертыванию эталонные рабочие процессы, помогающие разработчикам создавать реальные приложения. NVIDIA NIM — это набор простых в использовании микросервисов, разработанных для безопасного и надежного развертывания высокопроизводительных моделей ИИ для вывода. NVIDIA NeMo включает инструменты для обучения, настройки и постоянного улучшения моделей ИИ для современных корпоративных сценариев использования. Предприятия могут использовать NVIDIA Blueprints, NIM и NeMo для создания и тонкой настройки моделей для своих специализированных агентов ИИ.

Перенос ИИ нового поколения в облако
Доступность экземпляров NVIDIA GB200 NVL72 на CoreWeave подчеркивает новейшее сотрудничество компаний, направленное на поставку новейших решений для ускоренных вычислений в облако. С запуском этих экземпляров предприятия теперь имеют доступ к масштабу и производительности, необходимым для поддержки следующей волны моделей и агентов рассуждений ИИ.

Эти программные компоненты, являющиеся частью программной платформы NVIDIA AI Enterprise, являются ключевыми инструментами для масштабной реализации агентного ИИ и могут быть легко развернуты на CoreWeave.

Источник: NVIDIA Blog

Подписаться на обновления Новости / Технологии

0 комментариев

Оставить комментарий


Новые комментарии

Поддерживаю. А еще если брать в разрезе Илон Маск и безопасность данных, то вообще смешно. Особенно для жителей РФ)О конфиденциальности можно забыть
  • Анон
1c пох на ваши операции, количество ядер и прочее. Умудрились написать ядро четко привязанное к Мгц. Единственный в мире продукт для 1го ядра.
  • Анон
Указан неверный диаметр вентиляторов, не 80 мм, а 100 мм. И чип не 103, а 102.
  • Анон
С прошлым обновлением как раз и появилась эта ошибка. А новое как и написано не дают скачать.
  • Анон
При включении 3D Turbo Mode у вас максимум будет доступно 8 ядер и 8 потоков всего. т.е. если у вас 16 ядерный на 32 потока то будет всего 8 ядер и 8 потоков! Странная оптимизация!
  • Анон
После скачивания вышел синий экран СУПЕР!
  • Анон
требуется указать магазин и purchase date без этого не регистрирует
  • Анон
Россия на них клала❤❤❤❤, будет называться Ладушка 2.0 )))
  • Анон
ДА у меня тоже неработает уже все Вы не знаете каким способом вернуть все обратно СПАСИ
  • Анон

Смотреть все