Huawei представила ПО Flex:ai для повышения эффективности AI-чипов

Компания Huawei представила Flex:ai — инструмент с открытым исходным кодом, предназначенный для повышения коэффициента использования AI-чипов в крупных вычислительных кластерах. Платформа, анонсированная 21 ноября, построена на базе Kubernetes и будет распространяться через сообщество разработчиков Huawei ModelEngine. Это событие происходит на фоне сохраняющихся экспортных ограничений США на поставки высокопроизводительного GPU-оборудования и отражает растущий тренд в Китае на повышение эффективности программного обеспечения как временное решение проблемы нехватки чипов.

Huawei заявляет, что Flex:ai способен повысить среднюю загрузку чипов примерно на 30%. По словам компании, этот инструмент позволяет «создать аналог AI-чипа, который в 1000 раз быстрее чипов Nvidia». Технология работает за счёт разделения отдельных GPU или NPU на несколько виртуальных вычислительных экземпляров и координации рабочих нагрузок на разнородном оборудовании.

Небольшие задачи, которые обычно не полностью используют возможности ускорителя, объединяются вместе, а крупные модели, превышающие capacity одного устройства, могут распределяться по нескольким чипам. Инструмент включает интеллектуальный планировщик Hi Scheduler, который перераспределяет простаивающие ресурсы между узлами в реальном времени, автоматически назначая вычисления там, где есть очереди AI-задач.

Архитектура Flex:ai построена на открытой платформе Kubernetes, но расширяет её возможности нестандартными способами. В то время как Kubernetes уже поддерживает плагины для работы с ускорителями, а фреймворки вроде Ray обеспечивают дробное распределение ресурсов, Flex:ai объединяет их на более высоком уровне с интеграцией поддержки NPU Ascend вместе со стандартным GPU-оборудованием.

Запуск напоминает функциональность платформы Run:ai, приобретённой Nvidia в 2024 году, которая обеспечивает многопользовательское планирование и приоритезацию workloads в крупных GPU-кластерах. Версия Huawei, по крайней мере на бумаге, предлагает аналогичные возможности, но с акцентом на открытое развертывание и совместимость с различными ускорителями. Это может обеспечить ей более широкое применение в кластерах на китайских чипах, особенно с использованием процессоров Ascend.

Исходный код пока не опубликован, и Huawei не предоставила документацию или тесты. Когда он станет доступен, ключевыми вопросами останутся granularity разделения ресурсов, взаимодействие Flex:ai со стандартными планировщиками Kubernetes и, что особенно важно, поддержка широко используемых типов GPU через стандартные плагины. Компания сообщила, что в разработке инструмента участвовали исследователи из Шанхайского университета Цзяо Тун, Сианьского университета Цзяо Тун и Сямэньского университета.