AMD представила ROCm 7.0: до 3.8-кратного прироста производительности для ИИ

Компания AMD анонсировала выпуск ROCm 7.0 — масштабного обновления своей открытой программной платформы для GPU, предназначенной для задач искусственного интеллекта в дата-центрах и даже на клиентских устройствах. Основное внимание в этом релизе уделено поддержке новой серии ускорителей Instinct MI350, созданных на архитектуре CDNA 4.

Обновление сочетает аппаратные улучшения, включая расширенное использование HBM и поддержку дополнительных типов данных, с программными оптимизациями, призванными повысить пропускную способность как для обучения, так и для вывода моделей. AMD позиционирует этот выпуск как поколенческий шаг, расширяющий выбор развёртывания для предприятий — от серверов с одним узлом до многорэковых кластеров.

Внутренние тесты компании, проведённые совместно с партнёрами, демонстрируют многократный прирост производительности по сравнению с предыдущими версиями ROCm 6.0 в определённых задачах с большими моделями.

Под капотом ROCm 7.0 предлагает алгоритмические и системные улучшения, направленные на снижение стоимости и повышение эффективности использования ресурсов: усовершенствованные примитивы внимания и логического вывода, методы разреженных смесей экспертов, а также поддержка форматов точности FP4, FP6 и FP8, которые жертвуют небольшой точностью ради значительной экономии памяти.

ROCm 7.0 также фокусируется на масштабируемости и управляемости, обеспечивая прямую коммуникацию между GPU, распределённый вывод между узлами с совместимостью vLLM-d и DeepEP, а также кластерные инструменты, такие как AMD Resource Manager и новая AI Workbench для оркестрации и мониторинга.

Для упрощения внедрения AMD предоставляет предварительно собранные Docker-образы с примерами квантованных моделей и готовые стеки для распространённых фреймворков. Компания также расширяет поддержку конечных устройств, добавляя процессоры Ryzen AI и графические ускорители серии Radeon RX, что позволяет разработчикам развёртывать единые конвейеры от периферийных устройств до облачных стоек.

ROCm 7.0 уже доступна через ресурсы для разработчиков AMD, включая документацию, примеры и корпоративную поддержку для помощи командам в начале работы.

Источник: AMD