Google Cloud запускает первые экземпляры Blackwell AI на базе GPU

Вчера в 20:19 / Технологии → Новости / Технологии

Google Cloud представила свои виртуальные машины A4X, которые работают на машинах NVL72 на базе GB200 от Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

. Эти стоечные системы оснащены 72 графическими процессорами B200 и 36 центральными процессорами Grace. По данным Google

Google: Google — поисковая система. Google — компания Google Inc. Google Foundation — благотворительный фонд. Google.by — домен и сайт, до 2009 года принадлежавший белорусской компании ActiveMedia. Википедия

, новые виртуальные машины предназначены для крупномасштабных рабочих нагрузок ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

, таких как большие языковые модели с длинными контекстными окнами, модели рассуждений и сценарии, требующие массового параллелизма. Google также предлагает виртуальные машины A4 для общего обучения и разработки ИИ.

Виртуальные машины Google A4X используют машины Nvidia NVL72, которые имеют 72 графических процессора B200 и 36 72-ядерных процессоров Grace (2596 ядер Neovers V2 на базе Armv9), соединенных с помощью NVLinks. Это обеспечивает бесперебойное совместное использование памяти между всеми 72 графическими процессорами, улучшая время отклика и точность вывода. Система также поддерживает одновременные запросы вывода, что делает ее пригодной для мультимодальных приложений ИИ.

С точки зрения производительности виртуальные машины A4X обеспечивают в четыре раза большую эффективность обучения по сравнению с предыдущими виртуальными машинами A3, которые использовали графические процессоры

Thumbnail: Графический процессор Графический процессор (англ. graphics processing unit, GPU) — отдельное устройство персонального компьютера или игровой приставки, выполняющее графический рендеринг; в начале 2000-х годов графические процессоры стали массово применяться и в других устройствах: планшетные компьютеры, встраиваемые системы, цифровые телевизоры. Современные графические процессоры очень эффективно обрабатывают и отображают компьютерную графику, благодаря специализированной конвейерной архитектуре они намного эффективнее в обработке графической информации, чем типичный центральный процессор. Графический процессор в современных видеокартах (видеоадаптерах) применяется в качестве ускорителя трёхмерной графики. Википедия

Nvidia H100. В частности, Google Cloud обещает «более 1 ExaFLOPS» вычислительной мощности на систему GB200 NVL72, потенциально производя производительность 1440 FP8/INT8/FP6 PetaFLOPS, подходящую для обучения и вывода с параллельными рабочими нагрузками.

Виртуальные машины A4X также оснащены сетевыми адаптерами Titanium ML, созданными на основе сетевых карт Nvidia ConnectX-7, для обеспечения быстрой, безопасной и масштабируемой производительности ML, поскольку она обеспечивает 28,8 терабит в секунду (72 × 400 Гбит/с) бесперебойного трафика между графическими процессорами с низкой задержкой с использованием RoCE. Сетевая структура Jupiter от Google Cloud соединяет домены NVL72 между собой, обеспечивая бесшовное масштабирование до десятков тысяч графических процессоров Blackwell в неблокируемом кластере. В частности, команды ИИ могут развертывать виртуальные машины A4X через Google Kubernetes Engine (GKE), который поддерживает кластеры до 65 000 узлов. Google также рекламирует передовые методы совместного использования и конвейеризации для максимизации использования графических процессоров для крупных развертываний.

A4X VM также легко интегрируются с сервисами Google Cloud. Google поддерживает Cloud Storage FUSE, который повышает пропускную способность обучающих данных в 2,9 раза, в то время как Hyperdisk ML ускоряет время загрузки модели в 11,9 раза.

Google Cloud теперь предлагает как A4, так и A4X VM, каждая из которых оптимизирована для различных рабочих нагрузок ИИ. A4X с системами GB200 NVL72 нацелена на крупномасштабный ИИ, модели языков с длинным контекстом и высококонкурентные приложения. В то же время A4, работающий на графических процессорах B200 и неизвестных процессорах, лучше подходит для общего обучения и тонкой настройки ИИ. Цены на A4X и A4 неизвестны.

Источник: Tomshardware.com