Система Huawei CloudMatrix 384 превосходит NVIDIA GB200 NVL72

Если рассматривать отдельные чипы, то NVIDIA GB200 NVL72 явно превосходит Huawei Ascend 910C, обеспечивая более чем в три раза большую производительность BF16 (2500 ТераФЛОПС против 780 ТераФЛОПС), больше памяти на чипе (192 ГБ против 128 ГБ) и более высокую пропускную способность (8 ТБ/с против 3,2 ТБ/с). Другими словами, NVIDIA имеет преимущество в чистой мощности и эффективности на уровне чипа. Но переключите переключатель на системный уровень, и CloudMatrix CM384 от Huawei выйдет вперед. Он выдает в 1,7 раза больше петафлопсов, вмещает в 3,6 раза больше общей емкости HBM и поддерживает более чем в пять раз больше графических процессоров и соответствующей пропускной способности кластера NVIDIA NVL72. Однако эта масштабируемость имеет свои недостатки, поскольку установка Huawei потребляет почти в четыре раза больше общей мощности. Один GB200 NVL72 потребляет 145 кВт мощности, в то время как один Huawei CloudMatrix 384 потребляет ~560 кВт. Таким образом, NVIDIA — ваш выбор, если вам нужна максимальная эффективность в одном GPU. Если вы создаете огромный суперкластер ИИ, где общая пропускная способность и скорость межсоединений имеют наибольшее значение, решение Huawei на самом деле имеет большой смысл. Благодаря своей топологии «все ко всем» Huawei предоставила систему обучения и вывода ИИ, которую стоит приобрести. Когда SMIC, производитель чипов Huawei, получит более продвинутый производственный узел, эффективность этих систем также возрастет.

Источник: SemiAnalysis