NVIDIA B200 «Blackwell» в 2,2 раза быстрее, чем «Hopper»

14 ноября 2024, 10:56 / Технологии → Новости / Технологии

Мы знаем, что новейшие графические процессоры NVIDIA "Blackwell

" быстрые, но насколько они быстрее предыдущего поколения "Hopper"? Благодаря последним результатам MLPerf Training v4.1 платформа NVIDIA HGX B200 Blackwell продемонстрировала огромный прирост производительности, измерив улучшение до 2,2x на GPU по сравнению с HGX H200 Hopper. Последние результаты, подтвержденные MLCommons, показывают впечатляющие достижения в обучении больших языковых моделей (LLM). Архитектура Blackwell, включающая высокоскоростную память HBM3e и технологию межсоединений NVLink пятого поколения, достигла удвоенной производительности на GPU для предварительного обучения GPT-3 и 2,2x прироста для тонкой настройки Llama 2 70B по сравнению с предыдущим поколением Hopper. Каждая тестовая система включала восемь графических процессоров Blackwell, работающих с TDP 1000 Вт, подключенных через коммутатор NVLink для масштабирования.

Сетевая инфраструктура использовала NVIDIA ConnectX-7 SuperNIC и коммутаторы Quantum-2 InfiniBand, что обеспечивает высокоскоростную связь между узлами для распределенных учебных рабочих нагрузок. В то время как предыдущим системам на базе Hopper требовалось 256 графических процессоров для оптимизации производительности для теста GPT-3 175B, Blackwell выполнила ту же задачу всего с 64 графическими процессорами, используя большую емкость памяти HBM3e и пропускную способность. Стоит обратить внимание на предстоящую систему GB200 NVL72, которая обещает еще более значительный прирост сверх 2.2x. Она отличается расширенными доменами NVLink, более высокой пропускной способностью памяти и тесной интеграцией с процессорами NVIDIA Grace, дополненными технологиями коммутаторов ConnectX-8 SuperNIC и Quantum-X800. Благодаря более быстрому переключению и лучшему перемещению данных с интеграцией Grace-Blackwell мы могли бы увидеть еще большую оптимизацию программного обеспечения от NVIDIA для расширения диапазона производительности.