Процессор AMD Instinct MI325X улыбается в камеру: 256 ГБ памяти HBM3E

10 января 2025, 14:35 / Технологии → Новости / Технологии

На выставке CES компания AMD

Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия

продемонстрировала свой новейший ускоритель Instinct MI325X для задач искусственного интеллекта и высокопроизводительных вычислений, который также является единственным в мире процессором с 256 ГБ встроенной памяти HBM3E

и обещает стать одним из самых эффективных графических процессоров для логического вывода.

Хотя выставка Consumer Electronics Show предназначена для демонстрации новейшей электроники, предназначенной для потребителей, полупроводниковые компании уже давно используют CES для демонстрации технологий, которые, по их мнению, подходят для выставки. В то время как Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

посвятила большую часть своего выступления разговорам об искусственном интеллекте, AMD представила линейку процессоров для клиентских ПК, но это, конечно, не означает, что компании нечего было показать. На самом деле, она продемонстрировала свой совершенно новый Instinct MI325X.

Изображение: Tom's Hardware

Процессор Instinct MI325X от AMD оснащен тем же двухкристальным графическим процессором, что и Instinct MI300X, и оснащен 19 456 потоковыми процессорами (304 вычислительных блока) с тактовой частотой до 2,10 ГГц. Однако новый ускоритель оснащен 256 ГБ памяти HBM3E с пропускной способностью 6 ТБ/с, в отличие от 192 ГБ памяти HBM3 с пропускной способностью 5,3 ТБ/с.

Поскольку процессор Nvidia H200 оснащен «всего» 141 ГБ памяти HBM3E с пропускной способностью 4,8 ТБ/с, процессор AMD Instinct MI325X лидирует в отрасли по объему встроенной памяти HBM3E. Интересно, что ранее AMD анонсировала, что MI325X будет поставляться с 288 ГБ памяти HBM3E, но затем по неизвестной причине решила уменьшить полезную емкость до 256 ГБ.

Изображение: Аппаратное обеспечение Тома

Наличие большего объема встроенной памяти имеет решающее значение для ускорителей искусственного интеллекта, как для обучения, так и для логических выводов, по крайней мере, в теории.

Современные модели искусственного интеллекта обычно содержат десятки миллиардов параметров и требуют десятков тысяч графических процессоров для обучения. Хранение этих параметров, а также промежуточных данных и градиентов требует значительного объема памяти. Поскольку такая модель не помещается во встроенную память графического процессора, разработчикам приходится использовать такие методы, как параллелизм моделей или тензорное разделение, которые увеличивают вычислительные и коммуникационные издержки. При увеличении объема памяти графического процессора для обучения требуется меньше графических процессоров из-за меньших накладных расходов.

Кроме того, ускорители искусственного интеллекта обрабатывают данные в пакетах. Больший объем встроенной памяти позволяет обрабатывать большие пакеты, что может привести к повышению производительности и более быстрому и эффективному обучению и логическому выводу. Меньший объем памяти вынуждает модель работать с пакетами меньшего размера, что снижает эффективность.

Однако в реальном мире все выглядит несколько иначе. Согласно данным, представленным AMD и Nvidia на конец августа, система с восемью графическими процессорами Nvidia H100 емкостью 80 ГБ генерирует сопоставимое количество токенов в секунду с машиной с восемью графическими процессорами AMD Instinct MI300X емкостью 192 ГБ в тесте MLPerf 4.1 generative AI benchmark на модели Llama 2 70B, согласно данным, представленным AMD и Nvidia по состоянию на конец августа. В отличие от этого, 8-сторонний сервер с графическими процессорами H200 емкостью 141 ГБ генерирует более чем на 30% больше токенов в секунду по сравнению с 8-сторонним компьютером MI300X емкостью 192 ГБ.

На данный момент кажется, что Instinct MI300X не смог (по крайней мере, по состоянию на август) в полной мере использовать свои аппаратные возможности, вероятно, из-за ограничений в программном обеспечении. Еще неизвестно, сможет ли Instinct MI325X преодолеть те же ограничения в программном обеспечении и превзойти своих конкурентов по производительности.

Источник: Tomshardware.com