Графический процессор NVIDIA H100 установил рекорды в тестах искусственного интеллекта

Графические процессоры NVIDIA H100 находятся на вершине спектра, когда дело касается искусственного интеллекта, и компания снова установила новые рекорды в тестах MLPerf.

В свежих тестах MLPerf, опубликованных NVIDIA, компания подчеркивает, что они установили несколько новых рекордов: суперкомпьютер Eos завершил обучающий тест на основе модели GPT-3 со 175 миллиардами параметров, обученных на одном миллиарде токенов всего за 3,9 минуты. Это огромный прирост по сравнению с предыдущим рекордом, когда суперкомпьютеру удалось выполнить тот же тест за 10,9 минуты, что означает колоссальный рост в 3 раза.

Да, цифры, достигнутые суперкомпьютером, действительно феноменальны, но какова основная причина этого достижения?

За успех отвечает передовая архитектура графического процессора NVIDIA Hopper, которая сочетается с хорошо продуманными программными ресурсами. Суперкомпьютер Eos в настоящее время использует 10 752 графических процессора NVIDIA H100 Tensor Core, которые заменили довольно старые A100, и именно поэтому в первую очередь происходит огромный прирост производительности. Более того, благодаря хорошо развитым программным ресурсам, таким как NeMo от NVIDIA, который помогает в обучении LLM, «зеленым» удалось выжать исключительную мощь из своей платформы.

Более того, еще одним рекордным достижением NVIDIA, упомянутым в посте, являются достижения в области «масштабирования системы», где с помощью различных оптимизаций программного обеспечения компании удалось добиться эффективности на уровне 93%. 10 752 графических процессора H100 намного превзошли масштабирование в обучении искусственного интеллекта в июне, когда NVIDIA использовала 3 584 графических процессора Hopper. Важность эффективного масштабирования в отрасли огромна, поскольку достижение высокой вычислительной мощности требует использования большего количества аппаратных ресурсов, а без адекватного программного обеспечения эффективность системы снижается в большей степени.

Роль NVIDIA в индустрии искусственного интеллекта имеет огромное значение, поскольку компания способна предоставить самые мощные графические процессоры для искусственного интеллекта, известные человечеству, по крайней мере, на данный момент.