Supermicro NVIDIA HGX B200 — лидеры производительности ИИ

8 часов назад / Технологии → Новости / Технологии

Super Micro Computer, Inc. (SMCI), поставщик комплексных ИТ-решений для AI/ML, HPC, Cloud, Storage и 5G/Edge, объявила о первой в отрасли производительности на нескольких тестах MLPerf Inference v5.0 с использованием 8-GPU. 4U-системы с жидкостным охлаждением и 10U-системы с воздушным охлаждением достигли наилучшей производительности в некоторых тестах. Supermicro продемонстрировала более чем в 3 раза больше токенов в секунду (Token/s) для тестов Llama2-70B и Llama3.1-405B по сравнению с системами H200 8-GPU. «Supermicro остается лидером в отрасли ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

, о чем свидетельствуют первые новые тесты, выпущенные MLCommons в 2025 году», — сказал Чарльз Лян, президент и генеральный директор Supermicro. «Наша архитектура строительных блоков позволяет нам быть первыми на рынке с разнообразным спектром систем, оптимизированных для различных рабочих нагрузок. Мы продолжаем тесно сотрудничать с NVIDIA для тонкой настройки наших систем и обеспечения лидирующих позиций в рабочих нагрузках ИИ». Узнайте больше о новых тестах MLPerf v5.0 Inference здесь.

Supermicro — единственный поставщик систем, опубликовавший рекордную производительность вывода MLPerf (в отдельных тестах) как для систем NVIDIA HGX B200 с 8 ГП с воздушным, так и с жидкостным охлаждением. Обе системы

Систе́ма (др.-греч. σύστημα «целое, составленное из частей; соединение») — множество элементов, находящихся в отношениях и связях друг с другом, которое образует определённую целостность, единство. Потребность в использовании термина «система» возникает в тех случаях, когда нужно подчеркнуть, что что-то является большим, сложным, не полностью сразу понятным, при этом целым, единым. В отличие от понятий «множество», «совокупность» понятие системы подчёркивает упорядоченность, целостность, наличие закономерностей построения, функционирования и развития (см. Википедия

с воздушным и жидкостным охлаждением работали до даты начала тестирования MLCommons. Инженеры Supermicro оптимизировали системы и программное обеспечение, чтобы продемонстрировать впечатляющую производительность. В пределах эксплуатационного запаса система Supermicro B200 с воздушным охлаждением продемонстрировала тот же уровень производительности, что и система B200 с жидкостным охлаждением. Supermicro поставляла эти системы клиентам, пока мы проводили тесты. MLCommons подчеркивает, что все результаты должны быть воспроизводимыми, что продукты доступны и что результаты могут быть проверены другими членами MLCommons. Инженеры Supermicro оптимизировали системы и программное обеспечение, как разрешено правилами MLCommons.

SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180 ГБ) и SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180 ГБ) продемонстрировали лидерство в производительности при выполнении тестов Mixtral 8x7B Inference, Mixture of Experts со скоростью 129 000 токенов/сек. Система Supermicro с воздушным и жидкостным охлаждением на базе NVIDIA B200 показала более 1000 токенов/сек для большой модели Llama3.1-405b, тогда как предыдущие поколения систем на базе GPU показали гораздо меньшие результаты. Для небольших задач вывода с использованием теста LLAMA2-70b система Supermicro с установленной NVIDIA B200 SXM-180 ГБ показала наивысшую производительность среди поставщиков систем уровня 1.

Specifically:

Стабильная диффузия XL (сервер)

SYS-A21GE-NBRT (8x B200-SXM-180 ГБ)

#1 queries/s, 28.92

llama2-70b-interactive-99 (Сервер)

SYS-A21GE-NBRT (8x B200-SXM-180 ГБ)

#1 Tokens/s, 62,265.70

Llama3.1-405b (офлайн)

SYS-421GE-NBRT-LCC (8xB200-SXM-180 ГБ)

#1 Tokens/s 1521.74

Llama3.1-405b (Сервер)

SYS-A21GE-NBRT (8x B200-SXNM-180 ГБ)

#1 Токенов/с, 1080,31 (для узла с 8 GPU)

mixtral-8x7b (Сервер)

SYS-421GE-NBRT-LCC (8x B200-SXM-180 ГБ)

#1 Tokens/s, 129,047.00

mixtral-8x7b (Оффлайн)

SYS-421GE-NBRT-LCC (8x B200-SXM-180 ГБ)

#1 Tokens/s, 128,795.00

«MLCommons поздравляет Supermicro с подачей заявки на бенчмарк MLPerf Inference v5.0. Мы рады видеть, что их результаты демонстрируют значительный прирост производительности по сравнению с предыдущими поколениями систем», — сказал Дэвид Кантер, руководитель MLPerf в MLCommons. «Клиенты будут довольны достигнутым повышением производительности, которое подтверждено нейтральными, репрезентативными и воспроизводимыми результатами MLPerf». Supermicro предлагает комплексное портфолио ИИ с более чем 100 оптимизированными для GPU системами, как с воздушным, так и с жидкостным охлаждением, с выбором ЦП, начиная от оптимизированных для одного сокета систем до 8-процессорных многопроцессорных систем. Системы Supermicro для стоечного размещения включают вычислительные, сетевые компоненты и компоненты хранения, что сокращает время, необходимое для их установки после доставки на объект клиента.

Системы NVIDIA HGX B200 8-GPU от Supermicro используют технологию жидкостного и воздушного охлаждения следующего поколения. Недавно разработанные охлаждающие пластины и новый блок распределения охлаждающей жидкости (CDU) мощностью 250 кВт более чем вдвое увеличивают охлаждающую способность предыдущего поколения в том же форм-факторе 4U. Доступная в конфигурациях 42U, 48U или 52U, стоечная конструкция с новыми вертикальными распределительными коллекторами охлаждающей жидкости (CDM) больше не занимает ценные стойки. Это позволяет использовать восемь систем, включающих 64 графических процессора NVIDIA Blackwell в стойке 42U, и до 12 систем с 96 графическими процессорами NVIDIA Blackwell в стойке 52U.

Новая система NVIDIA HGX B200 с воздушным охлаждением 10U отличается переработанным шасси с расширенным тепловым запасом для размещения восьми графических процессоров Blackwell TDP 1000 Вт. До 4 новых систем с воздушным охлаждением 10U могут быть установлены и полностью интегрированы в стойку, с той же плотностью, что и у предыдущего поколения, при этом обеспечивая до 15-кратного увеличения производительности вывода и 3-кратного увеличения производительности обучения.

Источник: Supermicro News