Графические процессоры Moore Threads S4000 AI — для LLM с 3 млрд параметров

Тестовый прогон был взят из теста стабильности кластера интеллектуальных вычислений Куаэ Цянка. Обучение заняло в общей сложности 13,2 дня и предположительно прошло идеально, без сбоев и перерывов на протяжении всего пробега. Моделью искусственного интеллекта, использованной для тестирования нового вычислительного кластера, была модель большого языка MT-infini-3B.

Сообщается, что новый компьютерный кластер входит в число лучших кластеров AI GPU того же масштаба (предположительно, использующих такое же количество графических процессоров). Однако приведенная выше таблица явно лишена деталей. Например, кластер MTT S4000 сравнивали с неуказанными графическими процессорами Nvidia — мы не знаем, являются ли это графическими процессорами A100, H100 или H200, но мы подозреваем, что A100 наиболее вероятен. Нагрузки тоже не одинаковы. Обучение MT-infini-3B может сильно отличаться от обучения, например, Llama3-3B. Другими словами, обильно посыпьте солью.

Тем не менее, даже не будучи «яблоками к яблокам», обучение LLM графическим процессорам Moore Threads представляет собой важный шаг в дорожной карте внутреннего графического процессора Китая. Вычислительный кластер Kua'e Qianka, по крайней мере, предполагает, что графические процессоры MTT S4000 AI могут конкурировать с архитектурой Nvidia A100 предыдущего поколения. Это подтверждается необработанными показателями производительности S4000, которые не только значительно превосходят предшественников AI-графических процессоров Moore Thread S3000 и S2000, но также превосходят ускорители искусственного интеллекта Nvidia на базе Turing. S4000 не соответствует ускорителям искусственного интеллекта Nvidia A100, но, возможно, он недалеко от уровня производительности Ampere.

Для Moore Threads производительность Kua'e Qianka является огромной победой независимо от того, какие графические процессоры Nvidia или LLM были протестированы. Это демонстрирует, что Moore Threads теперь способна создавать графические процессоры с искусственным интеллектом, которые могут выполнять ту же работу, что и конкуренты графических процессоров с искусственным интеллектом от Nvidia, AMD и Intel. Возможно, он не будет работать лучше, но это важный шаг на пути к более быстрым и функциональным суперкомпьютерам и кластерам искусственного интеллекта.

Это впечатляющий результат для производителя графических процессоров, основанного менее пяти лет назад. Если Moore Threads сможет продолжать обеспечивать значительное улучшение производительности поколений, у нее может быть ускоритель AI GPU, который сможет конкурировать со своими западными аналогами в ближайшие несколько лет. Конечно, это большое «если», и из исторического прецедента мы знаем, что разработка графических процессоров не всегда идет по плану.

Нам также любопытно, сможет ли Moore Threads реализовать свои, казалось бы, хорошие возможности производительности искусственного интеллекта в своих игровых видеокартах. На сегодняшний день графические процессоры MTT сильно пострадали в игровых тестах, отчасти из-за незрелости драйверов и оптимизаций. Хотя ИИ требует большой вычислительной мощности, он отличается от компьютерной графики в реальном времени, поэтому опыт в одной области не подразумевает аналогичных возможностей в другой.