AMD MI355X в тестах показала конкурентоспособность с NVIDIA B200 благодаря большому объему видеопамяти

Компания Zyphra, предоставляющая облачные сервисы ИИ, провела первые сквозные тесты флагманской графической карты AMD для ИИ MI355X. Тестирование в реальной одноузловой среде с использованием DeepSeek V3.2, Kimi K2.6 и GLM-5.1 показало, что MI355X способен напрямую конкурировать с графической картой NVIDIA B200 на базе архитектуры Blackwell.

Главное преимущество AMD — огромный объём видеопамяти в 288 ГБ, что значительно превосходит 180 ГБ у B200. Больший объём видеопамяти позволяет MI355X хранить больше кэша на одной карте при обработке очень длинных текстов, что напрямую экономит средства на оборудовании, необходимое для разделения карт для параллельной обработки.

Однако недостаток AMD заключается в пропускной способности межсоединений между чипами. Благодаря технологии NVLink, B200 может обеспечить полную пропускную способность в 900 ГБ/с для любой конфигурации с двумя видеокартами. В отличие от этого, AMD MI355X по-прежнему использует прямое соединение Infinity Fabric, которое имеет среднюю эффективность межсоединений и пиковую пропускную способность всего 537,6 ГБ/с.

Поскольку пропускная способность видеокарт AMD имеет аппаратные ограничения, компания Zyphra сосредоточилась на оптимизации программного обеспечения, разработав алгоритмы Tensor Sequence Parallelism (TSP) и Tree Attention для решения этой проблемы. Их команда заменила традиционную кольцевую сеть древовидной структурой связи, полностью объединив вычисления и передачу данных на этапе декодирования и принудительно используя алгоритмы для компенсации недостатков оборудования AMD в точках соединения.

Конечный результат довольно хорош. Хотя NVIDIA B200, безусловно, по-прежнему будет лидировать по абсолютной скорости для одного запроса, с увеличением количества сценариев с длинным текстом и расширением контекста пропускная способность MI355X после оптимизации алгоритма приблизилась к пропускной способности B200.

Zyphra демонстрирует, что при условии достаточной оптимизации базового программного обеспечения, графические карты AMD для обработки ИИ могут напрямую конкурировать с флагманскими графическими картами NVIDIA для обработки длинных текстовых файлов, используя преимущество в большом объеме видеопамяти.

Опираясь на этот опыт, Zyphra планирует использовать данную архитектуру для поддержки развертывания DeepSeek V4 Pro с 1,6 триллионами параметров и для увеличения объема контекста до 1 миллиона токенов. Команда также разработает специализированное решение для квантования с низкой точностью для MI355X и представит новую модель спекулятивной выборки с диффузией, чтобы进一步 изучить вычислительный потенциал этого чипа.