Nvidia стремится к SSD с 100 миллионами IOPS — рост производительности до 33 раз может устранить узкие места для ИИ-ускорителей

Современные ИИ-ускорители, такие как Nvidia B200, обладают пропускной способностью памяти HBM3E около 8 ТБ/с, что значительно превосходит возможности современных систем хранения данных как по общей производительности, так и по задержкам. Однако теперь, когда индустрия ИИ получила высокопроизводительные GPU, одним из узких мест в системах обучения и вывода ИИ стала производительность накопителей. Nvidia совместно с партнёрами работает над созданием SSD, способных обеспечить производительность случайного чтения на уровне 100 миллионов операций ввода-вывода в секунду (IOPS) для небольших блоков данных, сообщил Уоллес К. Куо в эксклюзивном интервью Tom's Hardware.

«Сейчас цель — 100 миллионов IOPS, и это огромный показатель», — заявил Куо.

Современные SSD с интерфейсом PCIe 5.0 x4 обеспечивают пропускную способность около 14,5 ГБ/с и до 2–3 миллионов IOPS для случайного чтения блоков размером 4K и 512B. Хотя 4K-блоки лучше подходят для задач, требующих высокой пропускной способности, ИИ-модели чаще работают с небольшими случайными запросами, где критична задержка, поэтому 512B-блоки для них предпочтительнее. Однако увеличение числа операций ввода-вывода в 33 раза — крайне сложная задача из-за ограничений контроллеров SSD и памяти NAND.

Компания Kioxia уже разрабатывает «ИИ-SSD» на базе своей памяти XL-Flash, которая должна превзойти отметку в 10 миллионов IOPS для 512B-блоков. Ожидается, что этот накопитель выйдет во второй половине 2026 года, возможно, одновременно с платформой Nvidia Vera Rubin. Для достижения 100 миллионов IOPS может потребоваться использование нескольких таких SSD.

Глава Silicon Motion (SMI) считает, что достичь 100 миллионов IOPS на одном накопителе с традиционной NAND-памятью при разумной стоимости и энергопотреблении будет крайне сложно, поэтому может потребоваться принципиально новый тип памяти.

«Думаю, они ищут замену носителю. Optane должен был стать идеальным решением, но его больше нет. Kioxia пытается улучшить XL-NAND, SanDisk продвигает High Bandwidth Flash (HBF), но, честно говоря, я в это не верю. Сейчас все продвигают свои технологии, но индустрии нужно что-то принципиально новое. Иначе достичь 100 миллионов IOPS с приемлемой стоимостью будет очень трудно», — отметил Куо.

В настоящее время Micron, SanDisk и другие компании разрабатывают новые типы энергонезависимой памяти, но когда они станут коммерчески доступными, даже глава SMI не может сказать точно.