AMD: суперкомпьютер с 1,2 млн GPU составит конкуренцию Nvidia

Признание AMD стало результатом продолжительной дискуссии The Next Platform с Форрестом Норродом, исполнительным вице-президентом AMD и генеральным директором Datacenter Solutions Group, о будущем AMD в центрах обработки данных. Один из самых поразительных ответов касался крупнейшего кластера обучения искусственному интеллекту, который кто-то серьезно рассматривает.

На вопрос, отправляла ли компания запросы на кластеры размером до 1,2 миллиона графических процессоров, Форрест ответил, что оценка практически точна.

Морган: Какой самый крупный кластер по обучению искусственному интеллекту, к которому кто-то серьезно относится – не обязательно называть имена. Кто-нибудь приходил к вам и говорил, что с MI500 мне нужно 1,2 миллиона графических процессоров или что-то в этом роде.

Форрест Норрод: В этом диапазоне? Да.

Морган: Нельзя просто сказать: «Это в этом диапазоне». Каково самое большое фактическое число?

Форрест Норрод: Я абсолютно серьезен, это примерно в этом диапазоне.

Морган: Для одной машины.

Форрест Норрод: Да, я говорю об одной машине.

Морган: Это немного уму непостижимо, понимаешь?

1,2 миллиона графических процессоров — это абсурдная цифра (ошеломляющая, как пошутил Форест позже в интервью). Кластеры для обучения искусственному интеллекту часто состоят из нескольких тысяч графических процессоров, подключенных через высокоскоростное соединение через несколько серверных стоек или меньше. Напротив, создание кластера искусственного интеллекта с 1,2 миллионами графических процессоров кажется практически невозможным.

Мы можем только представить, какие ловушки придется преодолеть, пытаясь создать кластер искусственного интеллекта с более чем миллионом графических процессоров, но задержка, мощность и неизбежность аппаратных сбоев — это лишь несколько факторов, которые сразу приходят на ум.

Рабочие нагрузки ИИ чрезвычайно чувствительны к задержкам, особенно к хвостовой задержке и выбросам, при которых передача некоторых данных занимает гораздо больше времени, чем другие, и нарушает рабочую нагрузку. Кроме того, сегодняшним суперкомпьютерам приходится устранять сбои графического процессора или другого оборудования, которые в их масштабе происходят каждые несколько часов. Эти проблемы станут гораздо более выраженными при масштабировании в 30 раз размера крупнейших известных сегодня кластеров. И это еще до того, как мы коснемся вопроса о поставке энергии размером с атомную электростанцию, необходимой для достижения такой дерзкой цели.

Даже самые мощные суперкомпьютеры в мире не рассчитаны на миллионы графических процессоров. Например, самый быстрый на данный момент суперкомпьютер Frontier имеет «всего» 37 888 графических процессоров.

Цель кластеров на миллион графических процессоров говорит о серьезности гонки ИИ, которая будет формировать 2020-е годы. Если это возможно, кто-то попытается это сделать, если это означает большую вычислительную мощность ИИ. Форест не уточнил, какая организация рассматривает возможность создания системы такого масштаба, но упомянул, что «очень трезвые люди» рассматривают возможность потратить от десятков до сотен миллиардов долларов на обучающие кластеры ИИ (именно поэтому миллионы кластеров графических процессоров рассматриваются в все).

Источник: Tomshardware.com