Скромный ИИ-ускоритель на 28 нм бросает вызов гигантам: запуск 700-миллиардной модели на одной карте

Пока NVIDIA и AMD соревнуются в гонке за передовые техпроцессы и дорогостоящую память HBM, небольшая тайваньская компания Skymizer предлагает альтернативный подход. Её новая разработка, ускоритель HTX301, использует «устаревшие» 28-нм чипы и память LPDDR4/LPDDR5, но при этом способна запускать на одной карте огромные языковые модели с 700 миллиардами параметров.

HTX301 выполнен в виде стандартной PCIe-карты, на которой размещены шесть собственных чипов Skymizer, работающих совместно. Суммарный объём памяти достигает 384 ГБ, а энергопотребление всей карты составляет всего 240 Вт. Примечательно, что в конструкции не используется ни HBM, ни GDDR-память, которые являются стандартом для современных высокопроизводительных ускорителей.

Ускоритель построен на платформе Skymizer HyperThought и оснащён новым поколением LPU-ядер, оптимизированных специально для рабочих нагрузок больших языковых моделей. Ключевым фактором, позволяющим добиться высокой производительности на скромном «железе», является фирменная технология эффективного сжатия весов и KV-кэша. Благодаря ей, производительность HTX301 в задачах инференса оказывается на 9–17,8% выше, чем у популярного фреймворка llama.cpp. Заявленная пропускная способность памяти достигает 100 ГБ/с.

Для сравнения, NVIDIA RTX PRO 6000 Blackwell при выполнении аналогичных задач потребляет около 600 Вт, а AMD Instinct MI350P — также значительно больше, как минимум вдвое превосходя HTX301 по энергопотреблению.

Стандартный форм-фактор PCIe позволяет устанавливать HTX301 в обычные серверы с воздушным охлаждением, не требуя модернизации систем электропитания или охлаждения дата-центра. Это решает две ключевые проблемы облачного развёртывания: снижает риск утечки данных (поскольку вычисления выполняются локально) и делает затраты на инфраструктуру более предсказуемыми.

Все заявленные характеристики пока являются официальными данными самой Skymizer и не прошли независимую проверку. Однако компания планирует продемонстрировать HTX301 в работе на выставке Computex в Тайбэе в этом году, где также будет открыта возможность для сторонних организаций провести собственное тестирование производительности.