NVIDIA усугубляет дефицит NAND-памяти: система Vera Rubin потребует до 1152 ТБ SSD на сервер

Согласно отчёту аналитиков Citibank от 13 января, глобальный дефицит NAND-памяти усугубится из-за внедрения NVIDIA новых технологий, таких как Inference Context Memory Storage (ICMS).

В процессе инференса (вывода) ИИ, чтобы избежать избыточных вычислений и повысить скорость отклика, система использует механизм кэширования «ключ-значение», аналогичный «кратковременной памяти» моделей ИИ. Однако с взрывным ростом длины контекста дорогостоящая память HBM уже не справляется с нагрузкой.

Для решения этой проблемы NVIDIA анонсировала платформу ICMS на базе DPU BlueField-4, которая создаёт новый уровень хранения данных под названием G3.5: кэш KV, который изначально размещался в HBM, перемещается в более масштабируемые локальные SSD-накопители.

Благодаря этому NVIDIA удаётся значительно повысить скорость обработки данных — до 5 раз, а также улучшить энергоэффективность и значительно сократить задержку.

По прогнозам Citigroup, для поддержки работы ICMS компания NVIDIA установит до 16 ТБ дополнительного хранилища на каждую стойку в конфигурации Vera Rubin NVL72 AI, в результате чего общая ёмкость SSD-накопителей на сервер составит приблизительно 1152 ТБ.

Согласно рыночным прогнозам, ожидается, что в 2026 году будет отгружено 30 000 серверов Vera Rubin, а в 2027 году — 100 000 единиц.

Это означает, что дополнительный спрос на NAND-память достигнет 34,56 млн ТБ в 2026 году (около 2,8% от общего мирового спроса) и вырастет до 115 млн ТБ к 2027 году (около 9,3% от общего мирового спроса).

Более того, анализ Citi основан исключительно на платформе Vera Rubin и не учитывает более совершенную систему Rubin Ultra или потенциальный дополнительный спрос со стороны последующей архитектуры Feynman. Это означает, что фактический рост спроса на NAND-память может быть более значительным.

Citigroup считает, что внедрение технологии ICMS компанией NVIDIA станет позитивным катализатором для поставщиков NAND-памяти, причём наибольшую выгоду получат Samsung, SK Hynix, Kioxia, Western Digital и Micron.