Microsoft разработала инструменты для запуска моделей CUDA на видеокартах AMD

Согласно новой информации, Microsoft создала набор инструментов, позволяющих запускать модели, написанные на CUDA, на видеокартах AMD. Это может значительно ослабить монополию NVIDIA в области вычислений искусственного интеллекта. Применение этого решения позволит компании снизить затраты на инференцию — ключевой этап работы моделей ИИ.

Доминирование NVIDIA в секторе ИИ в основном объясняется мощью её программного обеспечения, а именно ядер CUDA, которые за годы стали отраслевым стандартом. Хотя конкуренты, такие как AMD, предлагают собственные решения (например, ROCm), до сих пор не было создано инструмента, способного реально преодолеть это преимущество. Теперь же, как сообщил один из высокопоставленных сотрудников Microsoft, компания разработала инструментарий, позволяющий переводить код CUDA в совместимый с ROCm, что даёт возможность запускать модели ИИ без необходимости их полного переписывания с нуля.

Microsoft использовала механизм, похожий на уже существующие решения, такие как ZLUDA, которые работают как слой совместимости в реальном времени — они перехватывают вызовы API CUDA и переводят их в инструкции, понятные GPU AMD. Благодаря этому появляется возможность запускать модели на основе CUDA без полной перекомпиляции кода.

Как признал процитированный сотрудник:

Мы создали набор инструментов, которые позволяют конвертировать модели CUDA в ROCm, благодаря чему их можно запускать на GPU AMD, например, на 300X. Мы сотрудничаем с AMD в области поддержки чипов 400X и 450X, чтобы максимально использовать их потенциал.

Хотя сама ROCm всё ещё считается менее зрелой средой, чем CUDA, и некоторые функции могут не иметь прямых аналогов, для Microsoft игра стоит свеч. Компания наблюдает огромный рост спроса на вычисления для инференции, которые менее требовательны, чем обучение моделей, но поглощают огромные ресурсы GPU. Поскольку карты NVIDIA очень дороги, Microsoft хочет диверсифицировать своё аппаратное обеспечение в облаке Azure, используя более дешёвые решения от AMD.

Если испытания завершатся успешно, новая система перевода CUDA в ROCm может значительно снизить затраты на поддержку инфраструктуры ИИ и повысить конкурентоспособность AMD на рынке, который до сих пор был почти полностью монополизирован NVIDIA.