Процессор AMD Instinct MI325X улыбается в камеру: 256 ГБ памяти HBM3E
Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия
Читайте также:AMD заявляет, что «ужасный продукт» Intel является причиной дефицита Ryzen 9 9800X3DНа фото графический процессор AMD Navi 48: около 390 мм2, ориентирован на массовых геймеровRazer Blade 16 отказывается от мощности Intel в пользу AMD Ryzen 9 HX 370Lenovo Legion Go S: портативный компьютер с AMD Z2 GoRazer Blade 16: новый ноутбук с RTX 50 и Ryzen AI 9
Читайте также:SK hynix на выставке CES: HBM3E, SSD и LPCAMM23NVIDIA GB300 «Blackwell Ultra» будет оснащена 288 ГБ памяти HBM3E, TDP - 1400 ВтSK hynix представляет первый в мире 16-High HBM3E на SK AI Summit 2024AMD выпустила ускоритель Instinct MI325X для ИИSK hynix готовится к выпуску Nvidia Blackwell Ultra и AMD Instinct MI325X с 12-Hi HBM3E
NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия
Читайте также:Акции Quantum computing упали более чем на 40% после прогноза генерального директора NvidiaМини-суперкомпьютер Nvidia AI вызвал презрение у Раджи Кодури, Tiny CorpГрафический процессор ноутбука Nvidia RTX 5090 проходит несколько тестовОсобенности ПК-версии Final Fantasy 7 RebirthВ PUBG появятся компаньоны NVIDIA AI «Ally»
Изображение: Tom's Hardware
Процессор Instinct MI325X от AMD оснащен тем же двухкристальным графическим процессором, что и Instinct MI300X, и оснащен 19 456 потоковыми процессорами (304 вычислительных блока) с тактовой частотой до 2,10 ГГц. Однако новый ускоритель оснащен 256 ГБ памяти HBM3E с пропускной способностью 6 ТБ/с, в отличие от 192 ГБ памяти HBM3 с пропускной способностью 5,3 ТБ/с.
Поскольку процессор Nvidia H200 оснащен «всего» 141 ГБ памяти HBM3E с пропускной способностью 4,8 ТБ/с, процессор AMD Instinct MI325X лидирует в отрасли по объему встроенной памяти HBM3E. Интересно, что ранее AMD анонсировала, что MI325X будет поставляться с 288 ГБ памяти HBM3E, но затем по неизвестной причине решила уменьшить полезную емкость до 256 ГБ.
Изображение: Аппаратное обеспечение Тома
Наличие большего объема встроенной памяти имеет решающее значение для ускорителей искусственного интеллекта, как для обучения, так и для логических выводов, по крайней мере, в теории.
Современные модели искусственного интеллекта обычно содержат десятки миллиардов параметров и требуют десятков тысяч графических процессоров для обучения. Хранение этих параметров, а также промежуточных данных и градиентов требует значительного объема памяти. Поскольку такая модель не помещается во встроенную память графического процессора, разработчикам приходится использовать такие методы, как параллелизм моделей или тензорное разделение, которые увеличивают вычислительные и коммуникационные издержки. При увеличении объема памяти графического процессора для обучения требуется меньше графических процессоров из-за меньших накладных расходов.
Кроме того, ускорители искусственного интеллекта обрабатывают данные в пакетах. Больший объем встроенной памяти позволяет обрабатывать большие пакеты, что может привести к повышению производительности и более быстрому и эффективному обучению и логическому выводу. Меньший объем памяти вынуждает модель работать с пакетами меньшего размера, что снижает эффективность.
Однако в реальном мире все выглядит несколько иначе. Согласно данным, представленным AMD и Nvidia на конец августа, система с восемью графическими процессорами Nvidia H100 емкостью 80 ГБ генерирует сопоставимое количество токенов в секунду с машиной с восемью графическими процессорами AMD Instinct MI300X емкостью 192 ГБ в тесте MLPerf 4.1 generative AI benchmark на модели Llama 2 70B, согласно данным, представленным AMD и Nvidia по состоянию на конец августа. В отличие от этого, 8-сторонний сервер с графическими процессорами H200 емкостью 141 ГБ генерирует более чем на 30% больше токенов в секунду по сравнению с 8-сторонним компьютером MI300X емкостью 192 ГБ.
На данный момент кажется, что Instinct MI300X не смог (по крайней мере, по состоянию на август) в полной мере использовать свои аппаратные возможности, вероятно, из-за ограничений в программном обеспечении. Еще неизвестно, сможет ли Instinct MI325X преодолеть те же ограничения в программном обеспечении и превзойти своих конкурентов по производительности.
Источник: Tomshardware.com
0 комментариев