Huawei представила суперсервер CloudMatrix 384 с 384 NPU и 192 CPU, превосходящий NVIDIA H100
Ранее основатель Huawei Жэнь Чжэнфэй в интервью «Жэньминь жибао» заявил, что Китаю не стоит беспокоиться о проблемах с чипами:
«С помощью методов кластеризации и наложения можно добиться результатов, сопоставимых с самыми передовыми технологиями»
Он отметил, что отдельные китайские чипы пока отстают от американских на одно поколение, но компенсируют это математическими методами, немуромскими технологиями и кластерными вычислениями.
Компания Huawei продемонстрировала возможности своего нового суперсервера CloudMatrix 384:
- 384 нейропроцессора Ascend 910C и 192 процессора Kunpeng с полностью равноправной (peer-to-peer) архитектурой соединения
- Рекордная пропускная способность для инференса — 2300 токенов/с
- Крупнейший в отрасли кластер — 16 000 карт с эффективностью масштабирования 95%
- Стабильная работа в облаке — 40 дней непрерывного обучения и восстановление за 10 минут
Huawei также опубликовала 60-страничное исследование, описывающее архитектуру CloudMatrix. В отличие от традиционных решений с централизованным управлением через CPU, в CloudMatrix 384 все компоненты взаимодействуют напрямую через высокоскоростную сеть UB, что значительно повышает эффективность.
Тесты показывают, что система превосходит NVIDIA H100/H800: 6688 токенов/с/NPU на этапе предварительного заполнения и 1943 токенов/с/NPU при декодировании.
Новая платформа Huawei позиционируется как оптимальное решение для работы с большими языковыми моделями.
0 комментариев