Microsoft разработала инструмент для запуска CUDA-кода на видеокартах AMD

Компания Microsoft разработала инструментарий, который позволяет преобразовывать код, написанный для платформы NVIDIA CUDA, в совместимый с открытой платформой AMD ROCm. Это открывает возможность запуска моделей искусственного интеллекта, изначально созданных для видеокарт NVIDIA, на графических ускорителях AMD.

По информации от сотрудника Microsoft, инструмент способен транслировать или конвертировать модели CUDA в код, совместимый с ROCm, для выполнения на GPU от AMD.

Основная цель этой инициативы — преодоление «экосистемной замкнутости» CUDA и поиск более экономичных решений для растущих рабочих нагрузок AI-инференса в инфраструктуре Microsoft. По мнению компании, чипы AMD для задач искусственного интеллекта демонстрируют лучшее соотношение цены и производительности в сценариях инференса по сравнению с более дорогими решениями NVIDIA.

Технически инструмент, вероятно, использует подход, схожий с технологией ZLUDA — уровень совместимости времени выполнения, который транслирует вызовы API CUDA в инструкции ROCm в реальном времени без необходимости изменять исходный код.

Однако из-за относительной «незрелости» платформы ROCm по сравнению с CUDA, некоторые функции могут не иметь прямых аналогов, что потенциально приводит к снижению производительности, что остается вызовом для крупных дата-центров.