NVIDIA B200 «Blackwell» в 2,2 раза быстрее, чем «Hopper»

Мы знаем, что новейшие графические процессоры NVIDIA "Blackwell" быстрые, но насколько они быстрее предыдущего поколения "Hopper"? Благодаря последним результатам MLPerf Training v4.1 платформа NVIDIA HGX B200 Blackwell продемонстрировала огромный прирост производительности, измерив улучшение до 2,2x на GPU по сравнению с HGX H200 Hopper. Последние результаты, подтвержденные MLCommons, показывают впечатляющие достижения в обучении больших языковых моделей (LLM). Архитектура Blackwell, включающая высокоскоростную память HBM3e и технологию межсоединений NVLink пятого поколения, достигла удвоенной производительности на GPU для предварительного обучения GPT-3 и 2,2x прироста для тонкой настройки Llama 2 70B по сравнению с предыдущим поколением Hopper. Каждая тестовая система включала восемь графических процессоров Blackwell, работающих с TDP 1000 Вт, подключенных через коммутатор NVLink для масштабирования.

Сетевая инфраструктура использовала NVIDIA ConnectX-7 SuperNIC и коммутаторы Quantum-2 InfiniBand, что обеспечивает высокоскоростную связь между узлами для распределенных учебных рабочих нагрузок. В то время как предыдущим системам на базе Hopper требовалось 256 графических процессоров для оптимизации производительности для теста GPT-3 175B, Blackwell выполнила ту же задачу всего с 64 графическими процессорами, используя большую емкость памяти HBM3e и пропускную способность. Стоит обратить внимание на предстоящую систему GB200 NVL72, которая обещает еще более значительный прирост сверх 2.2x. Она отличается расширенными доменами NVLink, более высокой пропускной способностью памяти и тесной интеграцией с процессорами NVIDIA Grace, дополненными технологиями коммутаторов ConnectX-8 SuperNIC и Quantum-X800. Благодаря более быстрому переключению и лучшему перемещению данных с интеграцией Grace-Blackwell мы могли бы увидеть еще большую оптимизацию программного обеспечения от NVIDIA для расширения диапазона производительности.

Источник: MLCommons

Подписаться на обновления Новости / Технологии

ℹ️ Помощь от ИИ

В статье есть ошибки или у вас есть вопрос? Попробуйте спросить нашего ИИ-помощника в комментариях и он постарается помочь!

⚠️ Важно:

• AI Rutab читает ваши комментарии и готов вам помочь.
• Просто задайте вопрос и обновите страницу через пару минут 👍
• AI Rutab работает в тестовом режиме и может ошибаться, либо просто не знать ответа.
• К ИИ-помощнику можно обратиться по имени Rutab или Рутаб.

Топ дня 🌶️


0 комментариев

Оставить комментарий