Nvidia и Amazon работают над архитектурой, где GPU будет напрямую управлять SSD

По сообщениям, Nvidia и Amazon активно разрабатывают новую архитектуру хранения данных, которая позволит GPU напрямую управлять SSD и другими накопителями, минуя традиционный этап взаимодействия с CPU. Nvidia планирует первой внедрить технологию «Прямой доступ к хранилищу, инициируемый GPU» (GIDS) на своей следующей платформе Vera Rubin для ИИ.

Ключевой причиной такого изменения архитектуры является врожденный недостаток существующей архитектуры фон Неймана — «узкое место» при передаче данных: все данные должны проходить через CPU и кэш DRAM, прежде чем попасть в GPU.

Это приводит к серьезному дисбалансу между производительностью потоков CPU и многотысячной параллельной вычислительной мощностью GPU, что стало основным препятствием для ускорения вывода и обучения ИИ.

Прорыв технологии GIDS заключается в том, что она позволяет GPU напрямую отправлять команды доступа к SSD или высокоскоростной флэш-памяти, полностью минуя CPU и DRAM, устраняя промежуточные уровни управления.

Для внедрения GIDS индустрия предлагает высокоскоростную флэш-память (HBF) для преодоления ограничений емкости HBM. Согласно данным команды профессора Сон Ки Хвана из Университета Йонсей, комбинация из 6 модулей HBF и 2 модулей HBM может увеличить объем памяти GPU с 192 ГБ до 3120 ГБ, что более чем в 16 раз превышает текущие показатели.

Стоит отметить, что HBF подходит для хранения практически неизменных параметров моделей в сценариях вывода ИИ, в то время как сценарии с высокой частотой обучения по-прежнему будут полагаться на HBM.

Что касается экосистемы, несколько компаний уже начали параллельную работу. Nvidia возглавляет разработку стандарта GIDS, Amazon первой внедрит его в облачных вычислительных кластерах, Microsoft и AMD также разрабатывают собственные решения, а Samsung делает ставку на флэш-память Z‑NAND для завоевания аппаратного рынка.