CloudMatrix от Huawei обошёл Nvidia GB200

На первый взгляд

CloudMatrix 384 от Huawei — это стоечная система искусственного интеллекта, состоящая из 384 процессоров Ascend 910C, организованных в полностью оптическую, всеобъемлющую ячеистую сеть. Система охватывает 16 стоек, включая 12 вычислительных стоек, вмещающих 32 ускорителя каждая, и четыре сетевые стойки, обеспечивающие высокоскоростные соединения с использованием 6912 оптических трансиверов 800G LPO.

В отличие от традиционных систем, использующих медные провода для соединений, CloudMatrix полностью полагается на оптику как для внутри-, так и для межстоечного соединения, обеспечивая чрезвычайно высокую совокупную пропускную способность связи. CloudMatrix 384 — это машина корпоративного класса, которая отличается отказоустойчивостью и разработана для масштабируемости.

С точки зрения производительности, CloudMatrix 384 обеспечивает около 300 PFLOPs плотных вычислений BF16, что почти в два раза превышает пропускную способность системы Nvidia GB200 NVL72 (которая обеспечивает около 180 BF16 PFLOPs). Он также обеспечивает в 2,1 раза большую общую пропускную способность памяти, несмотря на использование HBM2E, и более чем в 3,6 раза большую емкость HBM. Машина также обеспечивает в 2,1 раза большую пропускную способность масштабирования вверх и в 5,3 раза большую пропускную способность масштабирования вниз благодаря своим оптическим соединениям.

Однако эти преимущества производительности имеют свою цену: система в 2,3 раза менее энергоэффективна в расчете на FLOP, в 1,8 раза менее эффективна в расчете на ТБ/с пропускной способности памяти и в 1,1 раза менее эффективна в расчете на ТБ памяти HBM по сравнению с Nvidia.

Сравнение GB200 NVL72 от Nvidia и CloudMatrix CM384 от Huawei

Но это не имеет особого значения, поскольку китайские компании (включая Huawei) в любом случае не могут получить доступ к GB200 NVL72 от Nvidia. Поэтому, если они хотят получить действительно высокую производительность для обучения ИИ, они будут более чем готовы инвестировать в CloudMatrix 384 от Huawei.

В конце концов, средняя цена на электроэнергию в материковом Китае снизилась с $90,70 МВт-ч в 2022 году до $56 МВт-ч в некоторых регионах в 2025 году, поэтому пользователи CM384 от Huawei вряд ли обанкротятся из-за расходов на электроэнергию. Так что для Китая, где энергии в изобилии, но ограничены возможности использования передового кремния, подход Huawei к ИИ, похоже, работает просто отлично.

HiSilicon Ascend 910C: Huawei переходит на двухчиповый процессор

По-видимому, HiSilicon Ascend 910C — это двухчиповый процессор с восемью модулями памяти HBM2E и без кристалла ввода-вывода, который напоминает AMD Instinct MI250X и Nvidia B200. Устройство обеспечивает 780 BF16 TFLOPS по сравнению с 383 BF16 TFLOPS у MI250X и 2,25–2,5 BF16 TFLOPS у B200.

Сравнение Nvidia B200 и Huawei Ascend 910C

HiSilicon Ascend 910C был разработан в Китае для крупномасштабных рабочих нагрузок обучения и вывода. Процессор был разработан с использованием передовых инструментов EDA от известных компаний и может быть произведен с использованием технологических процессов класса 7 нм. SemiAnalysis сообщает, что хотя SMIC может производить вычислительные чиплеты для Ascend 910C, подавляющее большинство чиплетов Ascend 910C, используемых Huawei, были изготовлены TSMC с использованием обходных путей с участием сторонних организаций, таких как Sophgo, что позволило Huawei получить пластины, несмотря на ограничения США. Предполагается, что Huawei приобрела достаточно пластин для более чем миллиона процессоров Ascend 910C с 2023 по 2025 год. Тем не менее, по мере улучшения возможностей SMIC, Huawei может передать больше производства на аутсорсинг отечественному литейному заводу.

Ascend 910C использует память HBM2E, большую часть которой получает от Samsung через другого посредника, CoAsia Electronics. CoAsia отправила компоненты HBM2E в Faraday Technology, фирму по проектированию, которая затем работала с SPIL для сборки стеков HBM2E вместе с низкопроизводительными 16-нм логическими кристаллами. Эти сборки технически соответствовали экспортному контролю США, поскольку они не превышали никаких пороговых значений, установленных правилами США. Блоки систем в корпусе (SiP) были отправлены в Китай только для того, чтобы их стеки HBM2E были распаяны для отправки в Huawei, которая затем переустановила их на своих SiP Ascend 910C.

С точки зрения производительности Ascend 910C значительно уступает новейшим графическим процессорам Nvidia B200AI в расчете на один чип, но стратегия проектирования систем Huawei компенсирует это за счет увеличения количества чипов в системе.

Больше процессоров = больше производительности

Действительно, как следует из названия, CloudMatrix 384 — это высокоплотный вычислительный кластер, состоящий из 384 процессоров ИИ Ascend 910C, физически организованных в 16-стоечную систему с 32 ускорителями ИИ на стойку. В этой компоновке 12 стоек вмещают вычислительные модули, а четыре дополнительные стойки выделены для коммутации связи. Как и в архитектуре Nvidia, все Ascend 910C могут взаимодействовать друг с другом, поскольку они соединены между собой с помощью настраиваемой ячеистой сети.

Однако определяющей особенностью CM384 является его исключительная зависимость от оптических каналов для всех внутренних коммуникаций внутри и между стойками. Он включает в себя 6912 линейных подключаемых оптических (LPO) трансиверов, каждый из которых рассчитан на 800 Гбит/с, что приводит к общей внутренней пропускной способности, превышающей 5,5 Пбит/с (687,5 ТБ/с) при низкой задержке и с минимальными потерями целостности сигнала. Система поддерживает как топологии масштабирования вверх, так и топологии масштабирования вниз: масштабирование вверх через полносвязную сеть в пределах 384 процессоров и масштабирование вниз через дополнительные межкластерные соединения, что позволяет развертывать в более крупных гипермасштабных средах, сохраняя при этом тесную вычислительную интеграцию.

С 384 процессорами, CloudMatrix 384 от Huawei обеспечивает 300 ПФЛОПС производительности плотных вычислений BF16, что на 166% выше по сравнению с GB200 NVL72 от Nvidia. Однако вся системная мощность (включая сеть и хранилище) CM384 составляет около 559 кВт, тогда как GB200 NVL72 от Nvidia потребляет 145 кВт.

В результате решение Nvidia обеспечивает в 2,3 раза более высокую энергоэффективность, чем решение Huawei. Тем не менее, как было отмечено выше, если Huawei сможет поставлять свой CloudMatrix 384 в больших объемах, с надлежащим программным обеспечением и поддержкой, последнее, о чем будут беспокоиться ее клиенты, — это энергопотребление их систем.

Источник: Tomshardware.com