Huawei представила суперсервер CloudMatrix 384 с 384 NPU и 192 CPU, превосходящий NVIDIA H100

Ранее основатель Huawei Жэнь Чжэнфэй в интервью «Жэньминь жибао» заявил, что Китаю не стоит беспокоиться о проблемах с чипами:

«С помощью методов кластеризации и наложения можно добиться результатов, сопоставимых с самыми передовыми технологиями»

Он отметил, что отдельные китайские чипы пока отстают от американских на одно поколение, но компенсируют это математическими методами, немуромскими технологиями и кластерными вычислениями.

Компания Huawei продемонстрировала возможности своего нового суперсервера CloudMatrix 384:

• 384 нейропроцессора Ascend 910C и 192 процессора Kunpeng с полностью равноправной (peer-to-peer) архитектурой соединения
• Рекордная пропускная способность для инференса — 2300 токенов/с
• Крупнейший в отрасли кластер — 16 000 карт с эффективностью масштабирования 95%
• Стабильная работа в облаке — 40 дней непрерывного обучения и восстановление за 10 минут

Huawei также опубликовала 60-страничное исследование, описывающее архитектуру CloudMatrix. В отличие от традиционных решений с централизованным управлением через CPU, в CloudMatrix 384 все компоненты взаимодействуют напрямую через высокоскоростную сеть UB, что значительно повышает эффективность.

Тесты показывают, что система превосходит NVIDIA H100/H800: 6688 токенов/с/NPU на этапе предварительного заполнения и 1943 токенов/с/NPU при декодировании.

Новая платформа Huawei позиционируется как оптимальное решение для работы с большими языковыми моделями.